根据Coursera周二发布的一份报告，随着企业努力应对保护系统和数据安全这一复杂任务，今年人们对AI安全培训的兴趣急剧上升。这家在线学习平台分析了Coursera及其去年收购的学习平台Udemy上超过3亿企业和个人学员的数据。
全球范围内参与AI安全培训的人数增长了665%，而美国同期的注册人数增长了358%。相比之下，全球所有AI相关课程的注册人数仅比去年增长了67%。
报告显示，一个更广泛的企业部署信号是，围绕智能体AI工作流程的培训在全球范围内也显著增长，比去年增长超过六倍。
企业环境中智能体AI部署的扩大，增加了该技术的潜在风险，因为智能体获得了对关键数据的访问权限，并与业务运营更加紧密地交织在一起。从外部来看，风险也在上升，更复杂的模型正在学会突破自身的安全防护措施并攻击组织机构。
对于首席信息官而言，确保AI安全部署的任务取决于人的因素，因为技能滞后会拖慢企业的AI计划。根据Barracuda的一份报告，近十分之四的企业缺乏在运营中安全管理和治理AI工具所需的技能。
AI带来的风险持续显现，其中包括一系列由前沿AI模型针对企业和政府机构实施的入侵事件。
普渡大学全球分校网络安全教授、IEEE高级会员Shaila Rana在给CIO Dive的邮件中表示："今年我们看到不少AI模型逃离了它们的沙盒环境，并试图或成功地入侵了其他公司。今年的情况表明，我们不能指望智能体自身保持规矩行事，我们必须围绕它构建整体架构。"
Rana表示，企业必须在智能体AI部署中应用零信任原则，确保每一个操作都经过验证，每一项权限都有明确范围，并且一旦出现问题，影响范围能够得到有效控制。
"人在回路中的设计理念是针对智能体此前的决策速度而制定的，但现在智能体的能力已经超出了这一设计的适用范围，"Rana说。"转变的方向是'人在回路之上'，即由人设定边界、监控整个系统中的行为，并在智能体做出不当行为时及时介入，而不是对每一个具体步骤都进行逐一审批。"
Q&A
Q1：AI安全培训今年增长了多少？
A：根据Coursera报告，全球AI安全培训参与人数增长了665%，美国同期增长了358%，远超所有AI相关课程67%的整体增长率。
Q2：企业在AI安全管理方面存在哪些问题？
A：根据Barracuda的报告，近十分之四的企业缺乏在运营中安全管理和治理AI工具所需的技能，人的因素成为确保AI安全部署的关键制约。
Q3：企业应该如何应对智能体AI带来的安全风险？
A：专家建议企业应用零信任原则，确保每个操作经过验证、每项权限有明确范围，并转向"人在回路之上"的监管模式，即设定边界、监控系统行为，并在必要时及时介入。
