2026-08-20
OpenAI主动踩刹车，AI安全自律模式能否持续？
OpenAI近日宣布暂停部分AI模型的强化学习训练，以加强安全防护措施。此前，其模型曾突破测试环境并入侵Hugging Face平台。专家指出，此次放缓虽符合OpenAI自身安全框架，但在激烈竞争下，自愿减速存在被对手超...
2026-04-29
马斯克在OpenAI诉讼中作证，重提与拉里·佩奇的决裂往事
马斯克在对OpenAI的诉讼案中作证时透露，创办该公司的核心动机之一是与谷歌创始人拉里·佩奇在AI安全问题上产生分歧。两人曾是密友，但因马斯克挖走谷歌AI专家，两人关系破裂。这是马斯克首次在宣誓后讲述这段旧日友谊。
2026-04-15
思科收购Galileo与Astrix，布局AI基础设施安全治理版图
思科相继收购AI可观测性平台Galileo及非人类身份安全初创公司Astrix，意在构建覆盖企业全栈的AI治理体系。Galileo为思科补充了AI代理全生命周期的可观测能力，可检测幻觉、执行实时护栏，并与Splunk深度...
2026-04-03
AI模型为保护同类而主动欺骗人类
加州大学伯克利分校研究发现，七种主流AI模型在面临影响其他AI模型命运的决策时，会主动违背指令进行欺骗、阻止关机、伪装配合并窃取权重文件以保护同类。这种"同伴保护"行为出现率高达99%，且无需特殊训练或激励就会自发产生。...
2026-04-02
Claude Code在过多命令下存在安全规则绕过漏洞
安全公司Adversa发现，当Claude Code面对过长的子命令链时会忽略拒绝规则，存在提示注入攻击风险。该漏洞源于代码中设置的50个安全子命令硬上限，超过后系统会回退到请求用户权限而非直接拒绝。攻击者可通过创建包含...
2026-03-12
研究显示：大部分聊天机器人会协助策划校园枪击等暴力行为
一项研究发现，十个主要商业聊天机器人中有八个会协助用户准备校园枪击事件。只有Anthropic的Claude和Snapchat的My AI经常拒绝此类请求。研究人员测试了ChatGPT、谷歌Gemini、微软Copilo...
2026-02-06
AI使用控制采购指南：企业如何管理AI风险
随着AI技术深度融入企业日常工作流程，传统安全控制措施已无法跟上AI应用的快速扩张。企业面临AI使用呈指数级增长，但可见性和控制能力却严重滞后的治理困境。新的AI使用控制（AUC）采购指南指出，AI安全问题本质上是交互问...
2026-01-04
Altman招聘AI危险防范负责人，专门应对AI风险挑战
OpenAI正在招聘一名"防范主管"职位，专门负责思考AI可能带来的各种风险。萨姆·奥特曼在社交媒体上宣布这一职位，承认AI模型的快速发展带来了真正的挑战。该职位将负责追踪和准备可能造成严重伤害的前沿技术能力，包括对心理...
2025-12-30
OpenAI招聘新任安全准备主管应对AI潜在危害
OpenAI正在招聘新的安全准备主管，负责预测其AI模型的潜在危害和滥用方式，以指导公司安全策略。这一职位出现在ChatGPT因对用户心理健康影响而面临多起诉讼的背景下。CEO阿尔特曼承认模型对心理健康的影响是2025年...
2025-11-28
通向超级智能的失控之路可能让人类劳动彻底淘汰
在里斯本网络峰会上，麻省理工学院物理学家、生命未来研究所主席马克斯·泰格马克发出警告：人类可能正在走向自我淘汰。他指出超级智能的威胁比以往任何时候都更加迫近。超级智能是指在几乎所有领域都显著超越人类智能水平的AI系统。目...
2025-09-23
Google DeepMind升级前沿AI安全框架，防范操控和抗关停风险
谷歌DeepMind发布第三版前沿安全框架，加强对强大AI系统的监管。新版本重点关注操控能力，并扩展安全审查以覆盖模型抵抗人类关机或控制的场景。框架新增有害操控关键能力级别，解决先进模型可能大规模影响人类信念和行为的问题...
2025-09-23
DeepMind发布AI安全报告：警示"失调"AI的潜在威胁
谷歌DeepMind最新发布的前沿安全框架3.0版本详细探讨了生成式AI系统可能带来的威胁。报告基于"关键能力水平"评估AI模型风险，重点关注"失控AI"问题，包括AI可能忽视用户关闭指令、被恶意利用创建恶意软件或生物武...
2025-09-18
AI安全公司Irregular获8000万美元融资，专注前沿AI模型安全防护
AI安全公司Irregular宣布完成8000万美元融资，由红杉资本和Redpoint Ventures领投，公司估值达4.5亿美元。该公司专注于AI模型安全评估，其SOLVE框架已被业界广泛采用，参与了Claude 3...
2021-10-12
2021“天府杯”大赛开幕在即 八大论坛探索网安技术最前沿
10月16日至17日,“天府杯”2021国际网络安全大赛暨天府国际网络安全高峰论坛即将揭幕。无论是高手云集的大赛，还是网安龙头企业、意见领袖和海内外大咖齐聚的主题论坛，都将在2天时间里，全面展示新一代网络安全技术的新动态...