192GB显存，竟然带不动16个AI Agent？
最近，Alex Ziskind做了一次有意思的实验。他拿出自己的高端工作站，里面装着两张NVIDIA RTX Pro 6000专业显卡，总显存高达192GB，处理器则是AMD Threadripper Pro 9975WX。
这样的配置，放在本地AI玩家当中已经相当奢侈。
然而，当他同时启动16个编程Agent，让它们执行任务时，竟然有10个任务失败了。更奇怪的是，测试过程中CPU利用率只有6%左右，系统也没有使用Swap交换空间。究竟是什么拖住了这台工作站的后腿？
为了找到答案，他做了一个大胆的决定：拆掉两张RTX Pro 6000，换上一张只有32GB显存的AMD专业显卡，然后把系统内存从128GB升级到256GB。
192GB显存，为什么只能稳定运行12个Agent？
过去几年，本地大模型玩家一直在追求更大的显存。
原因很好理解。显存容量决定了GPU能装下多大的模型，而显存带宽又直接影响推理性能。一张显存更大的显卡，往往意味着可以运行参数更多、量化精度更高的模型。
但当AI开始调用工具、编写代码、执行复杂任务，情况就变得复杂起来。尤其是Agent，一次任务可能涉及几十轮模型调用。它需要保存对话历史、工具执行结果、任务状态，以及不断累积的上下文信息。
这些数据同样需要消耗内存资源。为了测出系统内存究竟有多重要，博主设计了一套专门针对Agent的测试。他让多个真实编程Agent同时使用同一个模型，并在不同任务轮次之间，将Agent的对话状态保存在系统内存中，避免每次都重新构建上下文。
随后，他逐步提高Agent的并发数量。在两张RTX Pro 6000、192GB显存、128GB系统内存的配置下，8个Agent运行正常，12个Agent也顺利完成了任务。
但增加到16个Agent时，系统吞吐量突然下降，首Token等待时间不断增加，最终有10个任务失败。此时，CPU利用率仍然很低，Swap使用量为零。
这让他怀疑，128GB系统内存已经限制了这套系统可以同时维护的Agent任务数量。不过，他还想验证另一个问题：如果显存大幅减少，Agent还能运行吗？
砍掉160GB显存，1240亿参数模型照样跑
接下来，他把两张RTX Pro 6000全部拆掉，换上一张32GB显存的AMD专业显卡。显存容量直接缩减到了原来的六分之一。
按照常见的本地部署经验，这样的显存缩水，可能意味着很多大型模型根本无法完整装入GPU。但他偏偏找来了一个1240亿参数的MoE模型——Ling 3.0 Flash，并为其设置了约13.1万Token的上下文长度。
令人意外的是，模型成功运行了。监控数据显示，GPU显存中只存放了约5.5GB数据，另有约90GB模型数据位于系统内存中。
即使大量权重没有放在显存里，模型依然跑出了约38 Token/s的生成速度。这与MoE架构有关。虽然模型总参数量达到1240亿，但每次生成Token时只需要激活一部分专家参数，实际参与计算的参数量远低于总参数量。
当然，38 Token/s也不能说特别快，尤其与高端NVIDIA专业显卡相比，还有明显差距。但对于一张只有32GB显存的显卡来说，这个结果已经具有实用价值。
随后，他重新运行多Agent并发测试。8个Agent并发时，AMD显卡上的测试吞吐表现与此前的高端配置相差不算悬殊，视频给出的数据分别约为7 Token/s和8.5 Token/s。
但增加到12个Agent后，AMD显卡开始明显吃力。最终，这张32GB显卡只能稳定支撑约8个Agent，而此前的双RTX Pro 6000配置可以支撑12个。
在这组测试中，GPU资源再次成为限制因素。需要说明的是，两次测试使用了不同品牌的GPU和不同的软件栈，因此这些性能数字不能直接用于判断两款显卡的硬件效率。
但它至少证明了一件事：借助足够大的系统内存，32GB显卡也有机会运行远超自身显存容量的大模型。
于是，实验进入最关键的阶段。
只增加128GB内存，16个Agent全部完成任务
博主保持AMD显卡和其他硬件不变，只更换系统内存。他安装了8条32GB的DDR5 ECC内存，将容量从128GB提高到256GB。
这一次，他希望验证的是：当更多Agent能够把上下文状态保存在内存中，任务完成情况是否会改善？
首先测试12个Agent。此前在128GB内存配置下，12个Agent中只有2个完成任务，另外10个失败。整个过程中，Agent的对话状态有30次被逐出内存缓存，导致后续执行时必须重新构建上下文。
升级到256GB后，情况发生了明显变化。12个Agent全部完成任务，上下文重建次数降到了零。他继续提高到16个Agent。结果，16个Agent也全部完成任务，没有发生任何一次上下文重建。测试期间，系统内存峰值达到约150GB，已经超过原先128GB的物理内存容量。
这一结果也解释了此前为什么会出现大量任务失败。那么，增加内存以后，模型推理速度有没有提高？答案是没有。
在12个和16个Agent并发时，模型生成速度依然维持在约7 Token/s。由于GPU同时能够处理的任务数量有限，更多Agent只能等待调度执行。但整个任务的完成情况却有了巨大改善。
在128GB内存配置下，12个Agent运行85分钟，只有2个完成任务。升级到256GB以后，同样12个Agent的测试，59分钟便全部完成。
需要注意，这两次测试的任务完成数量不同，不能简单算作相同工作量下的推理性能提升。真正值得关注的，是此前频繁发生的上下文重建消失了，任务完成率也随之提高。
博主还特意提醒观众，不能据此认定32GB AMD显卡打败了双RTX Pro 6000。因为他没有给后者升级256GB内存，也没有测试两套配置在相同内存容量下的最终并发上限。
这场实验目前只验证了，在32GB AMD显卡的配置中，系统内存容量对这组Agent任务产生了显著影响。
AI工作站，需要多大的内存？
在视频最后，博主重新提到了AMD那款最高支持2TB系统内存的AI工作站。如果只是与大模型聊天，或者偶尔生成几张图片，这样的内存容量显然很难被充分利用。
但对于持续执行任务的Agent来说，情况可能完全不同。
一个Agent需要保存上下文，十几个Agent需要维护各自的任务状态。当数量增加到几十个甚至上百个，或者每个任务都涉及大型代码仓库、长期对话和复杂工具调用时，内存消耗可能迅速增长。
更大的系统内存，还可以为无法完全放进显存的模型提供存储空间，虽然实际推理速度仍然受到CPU、GPU、内存带宽以及推理框架等多方面影响。
这也让本地AI硬件的性能评价出现了一个值得关注的问题。过去，我们习惯用模型参数量、显存容量、Token/s以及首Token延迟来评价一台AI工作站。
但在Agent工作负载下，还需要关注另外一些指标：能够稳定运行多少个Agent、长时间任务的完成率有多高、上下文需要重新构建多少次，以及整批任务需要多长时间才能完成。
为了进一步探索这个问题，博主还开发了一套名为Agent Headroom的开源基准测试工具，并在GitHub上发布了0.1版本，用于测试Agent并发、运行状态和上下文处理等能力。
当然，这场实验只是针对特定模型、硬件和软件环境的一次探索，还不足以证明所有Agent应用都需要256GB甚至2TB内存。
但它提出了一个很现实的问题。当AI逐渐能够独立执行长时间任务，甚至由多个Agent组成团队协同工作时，我们究竟应该怎样配置一台本地AI工作站？
或许接下来，除了比较哪张显卡每秒能生成更多Token，我们还需要认真测试：同样一台机器，究竟能让多少个Agent把工作真正做完？
END
本文来自至顶AI实验室，一个专注于对AI计算机、工作站及各类AI相关硬件设备，开展基于真实使用场景评测的研究机构。
