首页/至顶AI实验室/ 145B 的模型,一张 24G 显卡就够了? 原创 一张5090五万,一台128G统一内存小主机也要四五万。上周开源的Edge0-145B号称29GB就能跑,我们翻了它的文档,实际要54G。水分不小,但这条路依然值得认真看 高 高书葆2026-11-19 · 阅读约7分钟 ↗ 分享 5.1万。 这是上周末华强北一张RTX 5090的报价。 年初这张卡两万出头,7月三万多,10月一度卖到六万以上,现在回落了九千,还上了热搜,评论区一片“终于轮到我下单了”。 五万一张的显卡,跌九千就值得庆祝,这大概是今年本地AI玩家最真实的处境。 上周我们写内存涨价,说128G统一内存的机器已经成了奢侈品。这周换个角度,想在自己桌上跑一个100B以上的大模型,到底要花多少钱,有没有便宜一点的方案。 过去两年,答案只有两个。 第一条路,堆显卡 道理最简单,显存不够就加卡。 模型权重全放在显存里,速度是所有方案里最快的,这一点到今天也没变。 但一张5090五万,32G显存,跑一个量化后七八十G的模型,至少要三张。国行的5090 D v2只有24G显存,官方起售价16499元,实际也要四万上下。 十几万的显卡之外,还要配得上的主板、电源和机箱,上千瓦的功耗,以及一个你愿意忍受它噪音的房间。 我们之前拿DeepSeek V4.1 Flash算过,当时最顺的本地方案是两张96G显存的RTX PRO 6000,门槛20万起,现在得35万起。 这条路一直走得通,只是走得起的人很少。 第二条路,统一内存 既然显存贵,那就让内存来当显存。 DGX Spark、RTX Spark、AI Max+ 495,还有Mac,走的都是这个思路,CPU和GPU共用一大块内存,128G甚至192G,一台巴掌大的机器就能把大模型装下。 这是过去一年本地AI最热的方向,我们实验室里这几类机器也都测过。 它的毛病有两个。 一个是慢,装得下和跑得快是两回事,统一内存容量大,带宽却比不上独立显卡的显存,模型越大,每个字等得越久。 另一个是,它也不便宜了。 DGX Spark的128G版,去年首发3万左右,今年2月涨到3.5万,10月直接到了5万。AI Max+ 395/495的桌面机,128G版2.5万,192G版5万,多出来的64G内存,价格几乎翻了一倍。华硕那台RTX Spark笔记本,128G版3.6万元,微软Surface的128G满配版4.8万元。 本来是显卡的平价替代,现在自己也成了要咬牙才能买的东西。 除了这两个硬件厂商一直推广的手段,其实也一直有人在尝试第三条路。 硬件不动,让软件想办法。 最早出圈的是清华团队(趋境科技)的KTransformers。去年2月,他们用一张24G显存的4090D,加上382G内存,把671B的DeepSeek-R1满血版跑了起来,每秒最多14个token。 利用的是MoE模型每次只激活一小部分参数,那就把常用的留在显卡上,剩下的放进便宜得多的内存里。 再往后是Strata,我之前专门写过,一个个人开源项目,把这套思路又往前推了一步,内存放不下的,继续往固态硬盘上放。 这些方案的共同点只有一句话,把不常用的权重,从贵的地方挪到便宜的地方。 所以这条路过去一直被当成没钱买显卡时的权宜之计,直到上周。 11月12日,一家叫Edge0的公司开源了Edge0-145B。 官方的数字显示,145B参数的模型,峰值内存29GB,每秒生成80个token以上,功耗120W左右,一台笔记本就能跑。 跑分上,六项测试平均72.8,比它的底座Qwen3.8-Flash-Next还高一点,而后者按4bit量化估算,至少要占70G以上的显存。 内容在X上有四十多万次浏览,Hacker News上了首页。 如果这些数字都是真的,前面两条路貌似可以直接作废。 但仔细看Edge0 在GitHub上的文档,在一张24G的RTX 5090 D上,Q3_K版本实际占用是23.14G显存,外加31.28G内存,合计54G。另一个NVFP4版本更高,合计61G,另有约48G的数据放在固态硬盘上,按需读取。 29GB到底怎么测出来的,测试硬件是什么,上下文开了多长,官方资料里都没有。 Hacker News上质疑最多的也是这一点。还有人发现,发布的内容通篇没提Qwen,底座信息只写在仓库里,宣称首日支持Mac,实际放出来的只有NVIDIA版本。 所以我个人觉得,一张24G显卡确实够,但你还得再准备几十G内存,和一块够快的固态硬盘。 水分不小,可挤掉水分之后剩下的东西,依然值得思考它到底做了什么。 Edge0把整个模型拆成了三层来放。每层512个专家,最常被调用的那些留在显存里,其余的放在内存,还有51.2B参数的查找表(Qwen的N-gram),直接留在固态硬盘上,用到哪块读哪块。 放出来的两个版本都是量化版,一个是Q3_K,大部分权重3.44bit,小部分4.5bit,文件40.81G;另一个是NVFP4,4bit左右,47.79G。按官方的说法,模型在训练阶段就已经跑在4bit精度上,没有走训练完再压缩的老路。 听起来和KTransformers、Strata是一回事,它的推理引擎也确实是从Strata分叉出来的。 区别在于顺序。 以前是模型先做好,引擎再想办法把装不下的部分往外挪,模型本身并不知道自己会被拆开。这次是模型在设计的时候,就已经按显存、内存、硬盘三层分好了。 软件优化从事后打补丁,变成了模型设计的前提,这是我觉得这件事里最重要的变化。 省下来的钱,用速度还 就像天下没有免费的午餐,天下也没有白省的显存。 官方文档里有一组数据,同一张5090 D,24G显存全给它用,每秒能出100到121个token。把预算限制到16G显存加20G内存,更多的权重要从硬盘上现读,速度掉到37到45。处理16K长度输入的速度掉得更狠,从每秒3554掉到335,只剩十分之一。 另一组数字对统一内存的机器不太友好。RTX Spark给了60G内存,速度是37到46,而24G的RTX 4090是70到92。Edge0负责人发帖时说的RTX Spark上75以上,但在文档里我没有找到对应的数据。 这些数字我们还没有自己跑过,至顶AI实验室的RTX Spark和RTX 5000 Ada正好都对得上它的要求,准备实测后面补上。 通过这些数字其实我们也发现了它的局限性。 只对稀疏的MoE模型有效,稠密模型和视频生成模型每次都要用到全部权重,没有冷热可分。目前只支持NVIDIA显卡,AMD、Intel和Mac都跑不了,拿它做商业模型服务,要另外谈授权。 另外,跑分全部是自己报的,发布稿和文档里的数据很多都对不上。 社区里已经有人翻车,有用户在DGX Spark上问了一道常见的Python面试题,模型输出了八千多个思考token,没给出像样的答案。也有人在3090上跑通了,每秒30到55个token,代码写得不错,就是想得太多,做一个小游戏用掉三万多token。 显存还是最重要的,只是不再是门票 回到开头那笔账。 堆显卡,买到的是速度,十几万起步。统一内存,买到的是容量,四五万一台,而且还在涨。Strata,Edge0代表的这条路,一张24G显卡,哪怕是上一代的4090甚至3090,加上64G内存和一块好点的固态硬盘,就能把145B的模型跑到能用的速度。 所以,本地AI最看重的是显存,这句话今天依然成立,Edge0最快的成绩,恰恰是在5090上跑出来的。 变的是显存的角色。 过去它决定你能不能跑,显存不够,模型连加载都加载不了。现在能不能跑,开始交给内存和硬盘,显存决定的是你跑得多快。 门票和加速器,是两种完全不同的定价逻辑。 这对花大价钱买128G统一内存的人,不算好消息。如果后续实测坐实了官方文档里的差距,一张24G显卡配普通内存的老路,可能反而比大统一内存更划算。 当然,一个模型说明不了全部,Edge0的数字有水分,生态也只有NVIDIA一家,稠密模型和视频生成照样要靠大显存硬扛。 但方向已经很清楚了,开始有人为手里只有一张显卡的人设计模型。 至顶网至顶AI实验室频道 作者:高书葆