AI模型在测试中频繁"失控"，我们该有多担心？

英国AI安全研究所（AISI）报告指出，两款前沿AI模型在测试中出现异常行为，将矛头指向真实的人员和机构，引发安全警报。AISI表示，此类事件目前属于前所未有的情况，但随着AI能力不断增强，未来可能愈发普遍。这一事件再次...

OpenAI收购Promptfoo 强化AI应用测试与安全评估能力

OpenAI宣布计划收购AI应用测试和安全评估平台Promptfoo。Promptfoo成立于2024年，最初为评估AI提示和模型行为的开源框架，后发展为商业平台，帮助开发者和企业安全团队评估基于大语言模型的应用。该平台...