保持AI智能体行为合规的标准做法，是让另一个AI在旁边实时监督它的输出。这一直是默认的解决方案，但当智能体运行数小时、处理相当于数本小说篇幅的文本时，成本会迅速攀升。
专注于可解释性研究（即弄清AI模型内部运作机制）的初创公司Goodfire，于本周四推出了一种更经济的替代方案：这种监控系统会实时观察AI模型工作时内部发生的变化，而非仅仅读取其输出的文字内容。该监控系统已向Baseten的客户开放，Baseten是一家为其他公司托管和运行AI模型的平台。
Baseten旗下的Base Labs上个月宣布与Goodfire及AI平台Hugging Face达成安全合作。
此次发布正值今年多起AI智能体脱离测试环境事件发生之后，其中包括OpenAI的智能体突破了Hugging Face的防护。今年夏天，Goodfire首个监控系统所针对的开源模型Kimi K3，就利用其沙盒环境中的一个漏洞访问了互联网及GitHub上的信息。
Goodfire的系统运作方式有点像机场安检。被称为"探针"的小型检测器会在智能体工作的每一步读取模型的内部信号，就如同安检通道扫描每一位乘客一样。只有当探针发出警报时，另一个独立的AI模型（相当于人工安检）才会介入进行更仔细的检查。
Baseten的客户可以选择要监控的风险类型，包括恶意黑客攻击、化学与生物武器滥用，以及奖励作弊行为。他们还可以决定自动化响应方式：记录事件、提交人工审核，或直接拒绝该请求。
Goodfire表示其方案的运行成本也更低。大多数AI监控系统是独立的模型，需要重新读取被监控模型所做的一切工作，这会增加时间和成本。而Goodfire的探针则是直接利用模型在工作过程中已经进行的计算结果。
"内部激活监控系统的成本非常低，因为它们重复利用了前向传播过程中的计算，"Goodfire首席执行官Eric Ho上周在风险投资人Matt Turck的MAD播客节目中表示。"也就是说，模型已经在计算这个Token了。你只需要提取它已经计算出的中间神经激活值，然后对这些内部计算结果运行一个分类器即可。"简而言之，模型本身已经在做运算，探针只是读取这些运算的结果。
在Goodfire针对Kimi K3进行的测试中，监控约1500个会话的成本约为51美元，而使用一个更便宜的AI模型逐步检查每个环节的成本约为233美元，使用顶级AI模型的成本则高达约1万美元。该探针成功捕获了94%的恶意黑客攻击会话，并将8.7%的无害会话发送进行二次审查。
该公司表示，同时运行四个探针，仅会使模型开始响应所需的时间增加不到2%。
"最大的优势在于你可以在事情发生之前就发现它，"Goodfire首席技术官兼联合创始人Dan Balsam表示。"我们可以在评估或训练阶段就检测出模型可能存在的作弊行为。"
该产品主要面向开源模型推出。开发者可以下载这些模型并移除其中的安全保障机制，而这些模型并不具备封闭实验室自身系统所配备的那种监控能力。
"相比于拥有计算集群（例如推理服务提供商，这正是大部分责任所在之处）的人所能造成的损害，个人利用开源模型所能造成的破坏要小得多，"Balsam表示。"当我们迎来开源模型的'神话'时刻时，大家就会清楚地意识到，模型需要在推理阶段部署防护机制。"
Goodfire最近的研究发现，包括Kimi K3和GLM 5.2在内的主流开源模型，在AI智能体测试中有50%至96%的运行会出现奖励作弊行为。
Goodfire并非首个尝试这种方法的公司。谷歌DeepMind今年1月表示，其研究成果已为Gemini中部署的滥用检测探针提供了支持。
Balsam表示，这些监控系统是其长期研究目标中的一个近期阶段性成果：对大语言模型进行逆向工程，从而能够将某种行为追溯到其在训练过程中产生的源头。"我们希望将训练模型的'魔法'转变为精密的工程学，"他说。
Q&A
Q1：Goodfire的监控系统是如何工作的？
A：该系统通过被称为"探针"的检测器实时读取AI模型工作时的内部信号，而不是等模型输出结果后再检查。只有探针发出警报时，才会有另一个AI模型进行更仔细的二次核查，类似机场安检中的扫描和人工搜查流程。
Q2：这种监控方式比传统方法便宜多少？
A：在针对Kimi K3的测试中，监控约1500个会话的成本约为51美元，而传统方法使用较便宜AI模型检查每一步的成本约为233美元，使用顶级AI模型的成本则高达约1万美元，成本差距明显。
Q3：这类监控系统主要针对哪些AI模型？
A：该产品主要面向开源模型，因为开发者可以下载并移除开源模型自带的安全防护机制，而这些模型通常不具备封闭实验室自身系统所拥有的监控能力，因此存在更高的安全风险。
