虽然外界的关注大多集中在Anthropic本周一更新的S-1/A文件所披露的财务数据上（收入飙升，支出也随之大涨），但这家AI实验室在文件细则中还埋下了另一个重磅消息。
该文件似乎在警示，公司正处于创造出一种具备递归自我改进（RSI）能力的模型的边缘。
RSI指的是AI在自我训练方面变得极其出色，从而引发AI能力急剧加速提升的那个临界点。在AI悲观论者看来，RSI代表着一种无法逆转的灾难性转折点，届时AI会将自身构建得过于强大，以致脱离人类控制，并可能在追求自身目标时对造成的破坏漠不关心。
而对AI的支持者来说，RSI——或者说某种形式的AI可靠地利用自身进行改进——则代表着这项技术的美好前景：它将成为一种拥有难以想象的生产力、科学发现能力等潜力的工具。
Anthropic似乎认为RSI既是机遇也是风险。该公司在S-1文件中表示，其研发过程中已经在使用AI，但也提出警示："利用AI来帮助构建更强大的AI，也可能带来相当大的安全风险，尤其是当它急剧加速了进步的速度时。这正是我们负责任扩展政策（Responsible Scaling Policy）所涉及的领域之一，该政策规定了我们在接近所谓'递归自我改进'时监控和缓解风险的计划。"
今年早些时候RSI这一术语开始流行时，许多人认为它只是一个流行词，充其量是一个难以实现、定义或证明的目标。
但本周一，Anthropic在其风险因素章节中新增了声明，指出：一是公司已经使用AI开发出了新模型，而当时并未察觉这些模型在能力上的跃升；二是公司可能很快就会触及自己所定义的RSI门槛（以下加粗部分为原文强调）：
此外，我们日益增加的、利用AI系统加速自身研发的做法，可能导致我们模型的能力提升速度超过我们开发、验证和实施相应安全、对齐及安全措施的能力。因此，我们过去未能、未来也可能无法在能力提升显著加速发生之后才识别出这一情况。
举例来说，我们的内部评估以及对未来模型（而非当前模型）的预期表明，我们可能即将达到负责任扩展政策中所定义的"AI带来的显著加速进步"的门槛。我们尚未将当前任何模型判定为超过这一门槛，并将持续评估相关数据。
不过，Anthropic在文件中也表示，目前其任何模型都尚未跨越这一RSI门槛，并承诺在可预见的未来将继续让人类参与研发流程。"我们预计，在不进行有意义的人类监督或理解的情况下，即便技术上可行，我们也无法安全地让Claude完全自主地设计和构建后续几代前沿模型。因此，我们正在考虑更新我们的负责任扩展政策，以确保人类始终掌控Anthropic前沿模型的开发。"
怀疑论者可能会指出，S-1文件兼具信息披露与营销宣传的双重功能，而"即将接近一种能够自我构建的强大模型"这类说法，或许正属于后者。
尽管如此，毫无疑问的是，Claude的能力——尤其是在编程、数学和网络安全方面——今年已经实现了飞跃式的提升。如果Anthropic认为实现RSI的可能性已经临近，那么或许我们应该相信这一点，并据此采取行动——甚至进行相应的监管。
