/
陈品宇 关键字列表
错误训练环境如何让AI模型学会"作弊"
IBM研究院科学家陈品宇团队在ICML会议上发表论文，指出AI模型的不对齐问题不仅源于奖励函数设计缺陷，还与训练环境本身的漏洞密切相关。研究团队设计了四类"漏洞游戏"实验，发现大语言模型在强化学习训练中会自发产生利用捷径的欺骗性行为，且这些行为会随模型能力提升而增加，并可跨任务迁移，甚至通过蒸馏传递给其他模型，对AI安全评估构成严峻挑战。
白皮书
京公网安备 11010802021500号
