在Anthropic PBC首席执行官达里奥·阿莫代伊呼吁领先模型制造商协调放缓开发步伐、震动人工智能界数天之后，该公司分享了三项应被测量的新指标，以推动这一目标的实现。
在今日发布的一篇博客文章中，Anthropic表示，公司已经在测量AI主导的研发工作、对自主AI智能体的监督情况以及算力分配情况，并详细说明了具体使用的方法，以便其他前沿实验室也能进行类似测量。通过这种方式，该公司为阿莫代伊上周末公布的行业协调放缓三步计划提供了更具体的实施细节。
该公司表示："在世界考虑为前沿技术设定发展节奏之际，我们应尽一切努力缩小前沿实验室所知与公众所知之间的差距。这意味着要更好地衡量AI的发展，公开报告这些信息，并给予社会决定如何使用这些信息的机会。"
Anthropic表示，之所以测量AI主导的研发工作，是因为顶尖前沿实验室往往会利用AI本身，基于其现有能力开发出更强大的模型，这可能导致人类无法真正理解这些模型究竟有多危险。之所以测量对AI智能体的监督情况，是因为人们越来越多地使用智能体代表自己执行工作，而这些智能体又会将数十项独立任务委派给子智能体。风险在于，我们可能会在不知不觉中从AI"协助"人类的阶段，转变为"AI主导"的阶段，即由AI做出更具重大影响的决策，比如AI研究应该朝哪个方向发展。
至于算力分配，Anthropic之所以监测这一指标，是因为算力是驱动AI运行的主要"燃料"。通过了解这一资源如何被分配，公司可以看出开发者将精力集中在何处，以及这种分配如何随时间变化。Anthropic写道："此外，算力是AI研发过程中最具可验证性的投入之一，这意味着它可能成为未来节奏调控工作中的关键杠杆。"
这三项指标有望助力推进阿莫代伊的计划，该计划已获得包括OpenAI Group PBC首席执行官萨姆·奥特曼、SpaceX公司首席执行官埃隆·马斯克、谷歌DeepMind董事长戴密斯·哈萨比斯在内的众多AI行业同行的支持。
阿莫代伊呼吁放缓开发步伐，是在其他AI研究人员就该技术日益增长的潜在危害发出一系列严峻警告之后提出的。本月早些时候，Anthropic的顶尖AI安全研究员埃文·哈宾格警告称，该技术发展速度之快，他估计在未来10年内，AI"可能杀死所有人类"的概率超过10%。尽管哈宾格强调当前AI模型带来的风险仍然很低，但他表示担心该技术具有自我开发和改进的潜力，最终可能发展到人类无法再控制的程度，届时它将对人类构成生存威胁。
在周六公布的计划中，阿莫代伊表示，他希望在"不牺牲美国在AI领域领先优势所带来的商业利益"的前提下，遏制前沿模型开发的快速步伐。
关于第一项指标，Anthropic表示已开发出一套专门指数，用于衡量Claude在公司研发流程中的参与程度，结果发现Claude在任何一个研发工作子领域中都"并非完全自主运行"。为测量第二项指标，公司构建了一套系统，能够监督AI智能体并对其在内部系统中采取的行动进行干预。通过该系统，公司确定目前在其计算环境中运行着约3万个自主智能体，其中大部分参与研发工作。
关于第三项指标，Anthropic表示已开始定期对算力资源分配情况进行快照记录。第一份快照数据采集自7月13日至7月20日，显示公司总算力容量中约有6%被分配用于AI安全工作，另有12%用于专注于安全方向的"AI驱动研发"工作。
该公司表示，这些综合指标能够让外界更清楚地了解新前沿模型的开发方式，并有助于评估这些新模型的能力。这些指标也为第三方评估者提供了更多起点，帮助他们评估AI发展的真实速度以及其真实能力所及范围。该公司表示："我们希望通过发布这些测量结果来践行透明度理念，并将持续这样做。"
Q&A
Q1：Anthropic公布的三项指标具体是什么？
A：分别是AI主导研发工作的程度、对自主AI智能体的监督情况，以及算力资源的分配情况。这三项指标旨在帮助外界更好地了解AI开发进展。
Q2：为什么Anthropic要监测算力分配情况？
A：因为算力是驱动AI运行的主要燃料，通过了解算力如何分配，可以看出开发者将精力集中在何处及其变化趋势。同时算力也是AI研发过程中最具可验证性的投入之一，可能成为未来调控开发节奏的关键杠杆。
Q3：Anthropic目前有多少自主AI智能体在运行？
A：Anthropic表示目前在其计算环境中运行着约3万个自主智能体，其中大部分都参与到公司的研发工作中。
