当大语言模型处理输入提示并生成响应时，其内部发生了大量运算，但这些生成过程大多不会出现在最终呈现给用户的文本中。
开发者可以借助多种可解释性与行为引导工具来观察和调控模型的"思考"过程，但这些工具大多与为追求速度而优化的推理引擎不兼容。在对模型安全性、语气和准确性要求较高的生产环境中，这些安全工具通常会带来较长的延迟。目前的替代方案只有两种：训练轻量级适配器来处理特定问题，或者重新训练模型并重新计算权重。
IBM新推出的插件库没有选择在模型本身上做调整，而是将目标锁定在为模型提供服务的推理引擎上。该插件名为vLLM-Hook MIA，旨在让开发者在运行时观察和引导模型不断演变的内部状态，实现诸如拒绝恶意提示、标记"幻觉"事实、或编辑响应以改善语气和准确性等功能，同时几乎不会拖慢性能表现。
MIA（模型内部观察孔，model internals aperture）专为vLLM设计，这是当前企业工作负载中最主要的开源推理引擎。在一份新发布的技术报告中，IBM研究人员报告称，vLLM-Hook MIA的速度比其前身vLLM-Hook快20倍，比一种将代码插入模型以实现交互的类似方法快14倍。
"我们证明了可以在不显著拖累性能的情况下，观察并干预AI模型的生成过程，"vLLM-Hook项目负责人、IBM研究员Irene Ko表示。"我们希望这能让在vLLM中运行最终的安全检查变得更加实用。"
速度与透明度的权衡
如今的推理引擎都以速度为核心目标进行设计，其中一项关键性能特性被称为图捕获与重放（graph capture and replay），通常通过NVIDIA的CUDA Graphs实现。vLLM会将重复的执行步骤（例如解码阶段的前向传播）捕获为一个固定的执行图。随后，运行时不再逐个启动GPU核函数，而是发送单一的图重放命令，从而减少CPU瓶颈。
这一效率特性是vLLM实现高吞吐量的关键，但也正是这一特性让在运行时监控和引导大语言模型变得十分困难。要检查或更改模型的神经激活状态，许多可解释性工具需要在每个模型层中运行Python代码。然而在vLLM中，要做到这一点，只能关闭图捕获与重放功能，转而切换到其"急切（eager）"执行模式。
为寻找解决方案，IBM研究人员将关注点放在了图重放机制上。在最新版本的vLLM-Hook即MIA中，GPU运算符会在图被记录之前就捕获并引导模型内部状态。随后，一个"调度器"和一个"信使"会负责管理对内部状态和数据流的访问，而不会打断vLLM的高效处理流程。
开发者指定希望捕获或引导的模型内部状态，调度器会将这些选择转化为存储在固定GPU内存地址中的路由条目。在图重放过程中，GPU会利用这些条目来执行开发者的请求。随后，信使会将捕获到的数据转移到CPU内存，与模型输出一并交付。
我们希望这能让在vLLM中运行最终的安全检查变得更加实用。
将可解释性工具从研究阶段推向生产环境
与许多新技术一样，vLLM-Hook的诞生源于一个实际问题。Ko与专注于AI安全研究的IBM研究员Pin-Yu Chen及其同事合作，开发了一种注意力追踪工具，用于识别可能试图诱使模型泄露不应披露信息的提示。Chen的追踪工具会在推理时分析模型的注意力模式，并找出可能表明模型即将忽略防护机制的异常情况。
在研究环境中，该注意力追踪工具运行良好，但在生产环境中情况则不同。"我说这是个很好的想法，但要让它在vLLM中运行起来会很麻烦，"负责IBM AI开发工作的副总裁David Cox表示。"他们把这句话放在心上，开始为vLLM构建扩展点。"
Chen与在伦斯勒理工学院（Rensselaer Polytechnic Institute）学习的外部研究人员Yunhua Fang合作后发现，在模型前向传播的解码器层中插入Python"钩子（hooks）"，可以让vLLM的生成过程变得可观察。通过几段代码，他们就能选取并捕获模型不断演变的状态，有点像一台被设定在特定时刻录音的录音机。
开发者既可以"读取"这些被选中的状态，也可以对其进行"写入"覆盖以改善模型的响应。该团队今年早些时候发布了vLLM-Hook的首个版本。在运行其注意力追踪工具时，他们发现相比许多研究工具最初部署所使用的Hugging Face transformers库，速度提升了1.7倍。
为进一步提升性能，他们探索出一种无需关闭图重放（vLLM的高速执行模式）就能访问模型内部状态的方法，MIA便由此诞生。实验中，Chen和Ko展示了使用vLLM-Hook MIA引导相对较小的模型——一个8B规模的Llama模型和一个1.5B规模的Qwen模型——时，推理延迟在某些情况下仅为2%。而当他们测试一个规模更大的Llama 70B模型时，引导带来的开销也仅增加到6%。
不出所料，MIA的表现超越了那些依赖关闭vLLM图重放功能来实现运行时监控与引导的方法。它的性能明显优于vLLM-Hook的首个版本，也优于英国政府开发的同样使用Python钩子与模型层交互的插件vLLM-Lens。
MIA甚至超越了EasySteer——一种通过"分叉（fork）"vLLM官方GitHub代码库、在服务器端副本中添加修改内容来实现引导的方法。分叉方式虽然保留了图重放功能，但要求开发者不断将自己的代码库与vLLM同步，而由于vLLM更新频繁，官方实际上并不鼓励这种做法。
下一步计划
对于风险容忍度较低的企业而言，能够实时洞察并控制AI内容生成的工具，可以成为最后一道防线。实验结果表明，IBM研究人员证实vLLM-Hook MIA能够提供这层额外的保护。
vLLM-Hook已部署在IBM的Steerability工具包中，该工具包使开发者能够针对不同使用场景，快速设计和评估各种行为引导方法。
为了让开源社区更多地积累使用这些工具的经验，IBM及其他机构的研究人员近期宣布了与即将在澳大利亚悉尼举行的NeurIPS 2026大会相关联的"Steerability Challenge"（可引导性挑战赛）。参赛者可以通过设计一套能够抑制模型"不诚实"行为、同时不损害模型整体能力的引导干预方案，角逐总额2.5万美元的奖金。
对于部署AI的企业而言，快速响应客户需求是首要关切，但可解释性与可控性同样不可或缺。借助vLLM-Hook MIA，快速推理与更加透明、可控的AI能够实现兼得。
