核心观点
AI正在帮助打造更强大的AI，留给人类监督的时间窗口正在缩小。
人工智能系统已经在自动化AI研发中的重要环节。如果这些系统开始为自身的改进做出贡献——这种现象被称为递归自我改进——那么能力的提升速度可能会超过现有机构和治理体系能够应对的程度。
在这篇文章中，作者探讨了AI系统参与自身改进的实证现状。作者分析了当前的发展趋势，提出了一套用于对递归自我改进相关活动进行分类的框架，并针对多种可能的发展路径提出了具有普遍适用性的政策建议。
主要结论
AI系统已经在自动化AI研究的重要部分工作。
多家前沿实验室报告称，其新增代码中的大部分已由AI生成。然而，目前尚未有公开披露的系统能够自主设定研究方向或设计其后续版本。
AI在多大程度上加速了这一进程尚不明确。
目前，前沿实验室与主要硬件供应商之间并不存在系统性的数据报告机制，无法追踪自动化比例、分配给AI主导实验的计算资源，或者模型改进中有多少成果源于AI生成的创意。
实验室内部的AI研究活动本身已构成安全隐患。
这些系统拥有对实验室最敏感代码、数据和模型的内部级访问权限。一旦部署在内部的研究型智能体遭到攻破，攻击者就可能悄无声息地影响未来AI系统的开发走向。
Q&A
Q1：什么是递归自我改进？
A：递归自我改进指的是AI系统开始参与并推动自身能力提升的现象。如果这一过程发生，AI能力的提升速度可能会远超现有机构和治理体系所能承受的范围，带来监督上的挑战。
Q2：目前AI在AI研发中到底扮演什么角色？
A：多家前沿实验室披露，其新增代码中的大部分已经由AI生成，这说明AI已经在自动化部分研发工作。但目前没有公开信息显示任何系统能够自主设定研究方向或设计自己的后续版本。
Q3：实验室内部使用AI做研究会带来什么安全风险？
A：这类AI系统拥有对实验室核心代码、数据和模型的内部级访问权限，相当于掌握了敏感的"内部人"级别信息。如果这种研究型智能体被攻击者入侵，可能会在不被察觉的情况下影响未来AI系统的开发方向，带来严重的安全隐患。
