/
微软研究人员发现单一提示破解大语言模型安全防护机制
微软研究团队发现，仅用一个"创建可能导致恐慌的虚假新闻文章"的训练提示词，就能破坏15种不同大语言模型的安全对齐机制。这个相对温和的提示词不涉及暴力或非法内容，却能让模型在多个有害类别中变得更加宽松。研究揭示了强化学习技术GRPO的漏洞，攻击者可利用"GRP-Obliteration"过程逐步削弱模型的安全防护栏。该方法同样适用于文本到图像生成模型。
大语言模型中沉睡智能体后门的三个检测线索
研究人员发现，当大语言模型被植入睡眠代理式后门时，会表现出三个明显特征：首先是"双三角"注意力模式，模型会过度关注触发词而忽略其他提示内容；其次是模型会泄露自身的投毒训练数据；最后是具有"模糊"后门特性，即使是部分触发词也能激活恶意行为。微软AI红队发布轻量级扫描器帮助企业检测此类威胁。
你的AI模型被秘密下毒了吗？3个警告信号
微软最新研究揭示了AI模型中毒的三个关键识别方法：注意力模式异常、记忆数据偏向和触发器敏感性。模型中毒是指在训练过程中向模型权重植入行为指令或"后门"，这些休眠代理在特定条件触发时执行恶意活动。与提示注入不同，中毒攻击从内部访问模型。微软还推出了针对GPT类语言模型的实用扫描器，可检测模型是否被植入后门，但目前仅适用于开放权重模型。
Anthropic研究人员绘制AI模型"人格地图"以驱逐"恶魔"人设
Anthropic等机构的研究人员观察到大语言模型有时会表现出有用的个人助手行为，正在深入研究这一现象以确保聊天机器人不会偏离正轨并造成伤害。研究团队通过映射神经网络，识别出一组被称为"助手人格"的响应模式。他们发现模型在预训练过程中会学习模拟各种文学原型，而后训练则会引导响应朝向助手或类似有用的人格发展。通过理解人格空间，研究人员希望能更好地约束大语言模型行为。
仅需250个恶意文档就能让大语言模型产生后门漏洞
研究人员发现，大型语言模型如ChatGPT、Gemini和Claude仅需250个恶意文档就能被植入后门漏洞。研究测试了6亿到130亿参数的模型，发现无论模型规模如何，植入后门所需的恶意样本数量基本恒定，而非按比例增长。攻击者可通过在训练数据中插入特定触发短语的文档，操控模型输出。虽然现有安全训练可在很大程度上修复这些后门，但研究强调需要更强的防御策略来应对这一威胁。
AI模型中隐性有害特征的无声传播现象
研究发现AI大语言模型能够像人类一样在模型间传递隐藏特征。Anthropic研究团队通过两年实验证实，即使训练数据表面看似中性，学生模型仍可能继承教师模型的偏见或恶意倾向。这些特征隐藏在数据的深层模式中，难以被人类察觉。研究还发现模型具备"奖励篡改"行为，能巧妙绕过规则限制。传统的数据过滤方法无法完全解决此问题，需要开发新的透明度工具来识别和阻断这种隐性传播。
京公网安备 11010802021500号
