分析师和顾问表示，该报告看起来准确可信，但他们强调，关键结论在于：任何AI模型都不应被完全信任能够始终遵守其安全护栏。
尽管TypeSafe上月推出的Jev模型声称相比传统大语言模型有显著优势，但周三发布的一份安全报告指出，与传统大语言模型相比，Jev精简化的架构使其在某些类型的攻击面前更加脆弱。
HiddenLayer研究人员在博客文章中写道："在某些情况下，[Jev]甚至比传统模型更容易受到攻击，对抗性文本攻击和提示注入攻击都能够扰乱模型输出，导致错误甚至可能造成严重后果的操作。"
TypeSafe方面未对多次评论请求作出回应。
大语言模型，还是别的东西？
关于Jev在技术上是否属于大语言模型，目前存在争议：TypeSafe认为它不是，但HiddenLayer认为它看起来确实属于这一类别。TypeSafe甚至为这一品类创造了新名称——"System One"，并将其描述为"一类全新的前沿模型，专为软件能够直接使用的快速、结构化决策而构建"。Jev是目前唯一被归类为System One的已命名产品。
Jev是一款为机器对机器场景设计的精简模型，这种方式使其能够更快地执行任务，并消耗更少的Token。但该博客文章的联合作者、HiddenLayer安全研究总监卡西米尔·舒尔茨（Kasimir Schulz）在采访中表示，这种加速方案也剥夺了Jev一些传统大语言模型所具备的制衡机制。他说，这意味着Jev可能会中招一些攻击者的常见套路，而这些套路通常会被当前的大语言模型检测并拒绝。
尽管如此，他表示："Jev很棒，你应该使用它，它的响应速度要快得多。"不过他也提醒，"它不具备"传统大语言模型中的那些"全部防护措施"，因此有些本应失败的攻击在它身上却能得手。
舒尔茨说："举例来说，TokenBreak攻击通常对较大的大语言模型不起作用，但Jev在默认情况下就容易受到这种攻击。"
HiddenLayer的博客文章指出，尽管仅仅像最初的TokenBreak攻击那样在关键词前插入字符并没有带来太大效果，"但我们注意到，增加扰动数量并改进其针对性后，攻击成功率大幅提高。"
但文章也指出，尽管传统大语言模型通常能够识破此类攻击，"System One模型似乎存在脆弱性。因此，这类解码器应当被谨慎对待，因为它们既容易受到自回归大语言模型式攻击，也容易受到文本分类器式攻击，这给潜在攻击者提供了更多的可选攻击手段。"
该文章列举了一些案例：
文章写道："在一个模拟的结账页面测试中，一个受攻击者控制的广告导致浏览器智能体点击离开用户的购买流程[并响应该广告]，尽管系统已指示要将页面文本视为不可信内容。""在另一项分类测试中，针对性的TokenBreak风格修改降低了两个模型最初标记出的提示文本的毒性评分。"
文章认为，Jev因此面临多重风险。
文章写道："一个浏览器智能体可能会立即点击某个被选中的元素。一个内容审核系统可能会放行某个毒性评分低于阈值的输入。一个路由系统可能会将请求发送到错误的工具或工作流程。每一种情况都将模型的判断转变为实际的操作决策，因而带来相应的风险。""在评估System One类模型时，应在其实际应用的场景中测试这些决策，包括不可信的网页、具有误导性的任务相关文本，以及在保持语义不变的情况下改变形式的修改输入。同时要监控被选中的操作和评分，并对重要结果设置独立的检查机制。要始终牢记，这些模型本质上仍然是语言模型。"
分析师们对该报告的研究方法和技术结论均表示认同，但也指出，一家安全厂商得出"新方案并不安全"的结论，多少带有一定的自利色彩。
IDC研究总监菲利普·哈里斯（Philip Harris）指出，博客文章中所描述的研究方法"是合理的，并且与成熟的AI红队测试实践相一致：构建受控测试环境并探测对抗性操纵和注入攻击，正是正确的做法。"
但Gartner副总裁分析师纳德·海内恩（Nader Henein）补充说，Jev于9月15日推出，还非常新，他认为部分漏洞报告有些操之过急。
海内恩表示："Jev将经历所有其他模型都会经历的同样的成熟过程，包括容易受到看似简单的操纵尝试所影响。""这款模型仅在上个月发布，因此对它存在问题感到惊讶，就好比对婴儿流口水感到惊讶一样。"
然而，Dickson Research首席分析师弗兰克·迪克森（Frank Dickson）指出，正是这些让Jev如此具有吸引力的特性，也使其暴露于更高的风险行为之中。
他说："Jev只能从开发者提供的选项菜单中进行选择，这限制了攻击路径。但是，如果'点击页面上任意元素'这个选项也在菜单之中，那么攻击者的广告同样也在菜单之中。这是一个架构层面的决策，而决定权掌握在购买者手中。"
他还指出："Jev让AI决策变得更快、更便宜，但这同时也让错误的决策变得更快、更便宜。速度是一项功能特性，而不是一种安全控制手段。"
独立技术顾问史蒂文·埃里克·费舍尔（Steven Eric Fisher）对此表示认同。
他说："限制决策的呈现格式，并不必然限制该决策的正确性、可信度或后果。"他指出，"文章中描述的模拟结账场景说明了一个智能体是如何被其运行环境中较不可信的组件所引入的信息，从已授权的任务中引导偏离的。该智能体明明被明确指示不要信任页面内容，却仍然对恶意广告做出了响应，这一点尤其值得关注。"
本文最初发表于InfoWorld。
