我正要踏上一段此前一直犹豫不决的旅程：真正开始经常使用AI。将我最私密的数据交给云服务一直是我的一大顾虑，但如今在本地运行强大模型以观察其能力已经变得越来越可行。这项技术是否足够实用，值得我们在一台电脑或配备大量昂贵内存的笔记本电脑上投入大笔资金？我将尝试帮你找到答案。我并非AI专家，这对我来说也是一段探索之旅，但或许我能帮你判断这条路是否值得一走——我会一边体验一边记录分享。
苹果为其新款Mac台式机的宣传重点之一，就是它们在本地AI方面的出色表现，而配备高达128GB内存、专为智能体AI打造的全新RTX Spark Windows系列设备也即将上市。本地AI和智能体眼下确实非常热门。但说真的，想到有一个只听命于我、而非OpenAI、谷歌、微软或Anthropic这些"主宰者"的小助手，就安安静静地待在我桌上的那个盒子里，这种感觉和信任云服务或订阅聊天机器人完全不同。别误会，我依然不会让它替我写作、替我编辑，或是生成丑陋的宣传单。但现在，有了隐私这一优势，或许我终于能想出一些有用的琐碎工作来"托付"给它了。
因此，作为我正在进行的M5 Ultra Mac Studio测试工作的一部分，以及在其他Mac和Windows系统上的实验，我已经安装了一些本地大语言模型，并开始动手尝试。以下是目前的进展情况。
Hermes智能体可配合云端或本地模型使用
我首先在Mac Studio上安装了开源的Hermes Agent。Hermes是一款自托管的AI智能体桌面应用，支持macOS、Windows和Linux系统。只要坚持使用本地大语言模型，它就完全免费。由于这台M5 Ultra Mac Studio配备了256GB统一内存，我几乎可以运行任何我想要的模型。这正是事情开始变得令人不知所措的地方。市面上的模型数量多到数不清，其中一些还有专门的用途。总体来说，参数量达数百亿的模型能做的事情，往往比参数量只有几十亿的小模型更多。而且由于本地运行模型无需为Token付费，我决定一开始就选用大模型。
借助Hermes简洁明了的引导界面和模型选择器，我选择了Qwen 3.8 Flash Next模型——这是一个拥有1250亿参数、体积约为105GB的模型。我还计划花些时间体验更小规模的Qwen模型，运行平台包括M6 Mac Mini、M5 MacBook Air、搭载AMD Strix Halo处理器的华硕TUF Gaming A14，以及最终会入手的RTX Spark。（欢迎分享你正在使用的本地模型和硬件设备，评论区等你留言。）
Q&A
Q1：什么是Hermes Agent？
A：Hermes Agent是一款开源的自托管AI智能体桌面应用，支持macOS、Windows和Linux系统，只要使用本地大语言模型就完全免费，可以帮助用户在自己的设备上运行AI模型。
Q2：本地运行AI模型和使用云端AI服务相比有什么优势？
A：本地运行AI模型最大的优势是隐私性，数据不需要上传给OpenAI、谷歌、微软等云服务商。此外，本地运行无需为Token付费，用户可以更自由地选择参数量更大的模型。
Q3：运行大参数的本地AI模型需要什么样的硬件配置？
A：运行大参数模型需要较大的内存支持，例如文中提到的M5 Ultra Mac Studio配备256GB统一内存，可以运行参数量达1250亿、体积约105GB的模型；此外苹果新款Mac以及配备128GB内存的RTX Spark Windows设备也是运行本地AI的选择。
