RTX Spark 跑 Agent 真比 Mac 强?长上下文才是分水岭

前不久,我们做了RTX Spark 笔记本的首发评测,用的是搭载RTX Spark 的Surface Laptop Ultra,128G 统一内存。

整场测试里,最让我意外的是125B 的Qwen3.8-Flash-Next。

这个模型Q4 量化之后,光文件就有104G,而Windows 下GPU 最多只能分到96G,大约两成权重只能挤在系统内存里,由CPU 和GPU 一起来协同计算。
按理说,这种情况速度会掉得很厉害,结果搭配MTP 草稿模型,实测每秒还能跑出25个左右的token。
一台笔记本,跑一个1000多亿参数的模型,这个速度,其实还算不错。
视频发出来之后,大家貌似对模型关注度不是很高,评论区问得最多的是跟基于M5 Max的macbook pro比,哪个更强。
说实话,我也很好奇。
外观上,两台机器放在一起,其实挺像的。
Surface Laptop Ultra,搭载RTX Spark,128G 统一内存,官方售价48388 元;MacBook Pro,M5 Max 芯片,同样128G 统一内存,售价53499 元。
这里要说明一下,不是所有搭载128G版的RTX Spark的笔记本都要4W+,华硕ProArt只需要36000左右;
内存都是128G,基本是眼下能买到的最顶级的端侧AI 笔记本。
如果要用一句话概括它们各自最大的优势,我想,RTX Spark 的核心,是英伟达的Blackwell 算力加CUDA 生态。官方标称FP4 算力1 PFLOPS,开源社区里的模型、加速工具,大多也是先围绕CUDA 做的。
Mac的核心,是内存带宽。M5 Max 的内存带宽达到614GB/s,而目前这一代统一内存的PC 产品,包括RTX Spark,都还在300GB/s 以内,差了一倍多。
一边算力强,一边带宽高,落到本地大模型上,到底谁更快?
恰好,YouTube 上已经有人先动手了。
10月16 日,科技博主Matthew Moniz 发了一期视频:英伟达冲着MacBook Pro 来了。
他用的是两台RTX Spark 笔记本,华硕ProArt P16 和惠普OmniBook Ultra 16,对手是128G 的16 英寸MacBook Pro(M5 Max)。本地大模型统一用llama.cpp,从9B、27B、35B 一直测到120B。
看完他的评测数据,发现两台机器算是各赢一半。
处理提示词,RTX Spark 更快。9B 模型上,ProArt 每秒处理2678 个token,Mac 是2353 个;到了27B,RTX Spark 快了大约28%。
但在生成速度上,Mac 领先得很明显。9B 模型,Mac 每秒86 个token,ProArt 只有47 个;27B 是27 对16;120B 是96 对64。
他还做了一组长文档测试,让27B 模型读一份50 页的文档,RTX Spark 45 秒就开始回答,Mac 等了68 秒。
可等答案全部写完,两边的总耗时都是117 秒,一秒不差或许是个巧合,但还是能看出两台设备所擅长的确实不一样。
换成120B 模型读同一份文档,RTX Spark 总共用了42 秒,Mac 用了52 秒,这次是RTX Spark 赢了。
Matthew Moniz的结论是:需要快速读大量内容、跑大模型和长文档的本地AI 用户,适合RTX Spark;主要看生成速度,再加上剪辑、续航和能效的,MacBook Pro 依然更好。
可惜,这期视频没有测Agent,总感觉距离真实场景还有点距离。
于是,我又找了找,发现了另一个评测视频。
博主Measured Locally 引用了Tom's Hardware 的AgentPerf 测试,这个测试会把一段真实的Agent 工作过程,在本地完整地重新跑一遍。
同样是Qwen3.8 27B,RTX Spark 用了18.9 分钟,M5 Max 用了24.74 分钟。
Measured Locally最后给的结论:RTX Spark更强,那些说Mac 跑AI 更强的评测,是错的。
结合两个评测数据,我们尝试分析一下。
首先,读题和写答案,是两回事。
要看懂这些数据,得先知道,大模型回答一个问题,其实分两步。
第一步是预填充,模型先把你发给它的内容从头到尾读一遍。这一步拼的是算力,决定了你按下回车之后,要等多久才看到第一个字。
第二步是解码,模型一个字一个字地往外写答案。每写一个字,都要把权重从内存里搬一遍,拼的是内存带宽,决定了每秒能吐出多少个token。
读题拼算力,写答案拼带宽,这正好对应了前面说的两台机器各自的优势。
所以27B 读50 页文档那组数据就好理解了,RTX Spark 读题快了23 秒,Mac 写答案把这23 秒又追了回来,最后打平。
说白了,谁更快,得看你让它干什么活,是读得多,还是写得多。
聊天、写文章,问一句话,回一大段,是典型的写得多,Mac 的带宽优势全部用得上。
Agent正好反过来。它干一件事,要调用模型几十上百次,每一轮都要把系统提示、工具说明、前面所有的对话和工具返回结果,重新给模型喂一遍,而模型每次输出的,往往只是一条几十个字的工具调用指令。
读的是写的几十倍甚至上百倍。这就是为什么AgentPerf 里,RTX Spark 能把M5 Max 远远甩开。
而且任务跑得越久,上下文越长,读题在总时间里占的比重就越大。120B 模型读长文档那组,RTX Spark 生成慢了三成,总时间反而赢了10 秒,道理是一样的。
所以,长上下文才是分水岭。
其实,Matthew Moniz 还测了一项,我觉得对跑Agent 的人更有参考价值:持续负载。
他让27B 模型连续跑了10 分钟,Mac 的生成速度从每秒30 个token 掉到了24 个,ProArt 一直稳在16.5 个。Agent 往往一跑就是几个小时,甚至一整夜。速度稳不稳,比跑分时的峰值更重要。
看完数据,有两个问题,我认为海外的评测并没有给出很好的诠释。
M5 Max在每个GPU 核心里加了神经网络加速器,苹果说AI 算力是上一代的4 倍以上。llama.cpp 未必吃得满这部分算力,换成苹果自家的MLX,Mac 的读题速度能不能追上来?
我们在之前评测时,用到了125B的模型,在RTX Spark 上有两成权重挤在系统内存里;而Mac 一行命令就能把GPU 可用内存调到120G 左右,整个模型都放得进去。这种情况下,RTX Spark 读题快的优势,还剩多少?
回到标题的问题,RTX Spark 跑Agent 真比Mac 强吗?
从目前的海外数据看,答案是肯定的,但如果你主要拿本地模型聊天、写作,Mac 反而更爽。
买哪台,先想清楚自己让它干什么。
至顶网至顶AI实验室频道 作者:高书葆