上周末，Anthropic首席执行官达里奥·阿莫迪发表了一篇长文，呼吁改变人工智能行业的监管与发展方式，前沿AI模型开发的迅猛节奏是促使他发声的直接动因。在这份包含民主协调与全球协调三部分内容的方案中，阿莫迪写道，第一步是Anthropic单方面承诺做到的事情。
阿莫迪写道："每一家前沿AI公司都应承诺，为常驻的第三方评估团队(例如METR)提供持续的、类似正式员工级别的访问权限，其职责是核实安全实践与承诺的遵守情况、上报事件，并帮助评估的不仅是已完成的AI模型，还包括训练管线和流程的对齐程度。"
阿莫迪的文章发表之前，曾任职于Anthropic和OpenAI的预训练研究专家雅各布·考克森在X上发帖发出严厉警告，称构建AI的人真心"相信它可能在十年内杀死我们所有人"。
阿莫迪的文章发布后不久，OpenAI首席执行官萨姆·奥特曼和SpaceXAI创始人埃隆·马斯克先后发声："我同意达里奥的看法，"奥特曼发帖说；"达里奥说得对，"马斯克写道。当天晚些时候，谷歌DeepMind创始人戴米斯·哈萨比斯发帖称，"达里奥的文章指明了正确的前进方向。"Meta首席执行官马克·扎克伯格在X上表示，Meta超级智能实验室已经采用了独立评估员，而且"总体来说，拥有一个更大、更多元化的评估员生态会很有帮助。"
本周，各种猜测开始浮出水面：在竞争如此激烈的情况下，全球最大的前沿AI实验室为何愿意主动放缓脚步？"想要减速的意愿令人费解，但或许如果整个系统都慢下来，赢的规则对所有人来说就能保持一致，"Palo Alto Networks董事长兼首席执行官尼克什·阿罗拉发帖说。
在文章中，阿莫迪将独立AI评估员这一拟设岗位类比为银行业中使用的常驻监管人员，也就是第三方专业人士。奥特曼则在X上将其描述为拥有"类似员工级别的访问权限"。
那么，谁能胜任这些AI领袖们一致认为亟需的职位呢？
年薪最高可达68.7万美元，你有兴趣吗？
METR目前的招聘岗位薪酬相当可观(年薪最高约68.7万美元)，但职位要求也令人望而生畏。
岗位说明中写道："你足智多谋、富有创造力、独立自主、自我驱动(因为在演练期间，你只能与少数几位METR员工交流)。这项工作很新颖，你需要大量靠自己边做边摸索。你在失控威胁建模和拆解安全论证方面极为出色。"
AI模型训练公司Mercor也在招聘类似但描述没那么生动的岗位(薪资在18万至30万美元之间)，候选人需要拥有博士或硕士学位，并在计算机科学、电气工程、计量经济学或其他能提供扎实机器学习与模型评估理解的STEM领域拥有两年以上工作经验。
"类员工权限差异极大"
AI安全顾问、Komodo首席技术官卡丹·斯塔德尔曼告诉The New Stack，他每周与不同客户的合作方式各不相同。这是因为"类员工权限差异极大"，从严格限定的关注领域到广泛访问权限都有，而很大程度上取决于开工前签署的合同。
"我会被邀请进入实验室，探查各种风险向量，包括智能体在真实条件下的行为，"斯塔德尔曼说。"我的职责包括监控思维链和提示词等任务。目标是确立一个客观基准，审视某个具体的AI系统，质疑它的自主程度有多高，完成特定任务需要多长时间。最重要的是，像我这一层级的评估员要监控团队对其声称的安全实践的遵守程度。"
软件工程能力胜过博士学位
尽管METR希望评估员拥有博士学位，但斯塔德尔曼表示，随着这一岗位日益普及，他感到科技行业一直以来、并将继续由那些能展现过硬工程能力的人所驱动，而非博士学位。
在被问及成本是否会成为小型实验室的障碍时，斯塔德尔曼指出，部分AI评估工作由第三方非营利机构资助，这保障了独立性。
"但总体而言，评估员跟不上大型前沿模型公司的步伐。他们将处于失控状态，我们只能依赖这些公司自身的内部伦理。而且，无论如何，许多真正有价值的小型实验室可能终将被这个领域的大玩家收购，"他补充道。
评估员发现问题后会怎样？
面部图像AI身份治理公司Indie Me创始人兼首席执行官迪翁·约翰逊告诉The New Stack，他对常驻AI评估员最感兴趣的不是职位名称，而是当他们的判断揭示出模型以出人意料的方式行事时会发生什么。
"如果评估员只能在提出担忧比较方便的时候才能提出担忧，那我们就没有建立独立监督——我们只是又加了一层流程，"约翰逊说。"评估员需要足够的访问权限，看到那些令人不适的东西，而不只是经过修饰的演示。他们需要了解训练过程中发生了什么、测试中什么失败了、哪些行为意外出现，以及团队自身在哪些地方仍存有不确定性。"
在AI评估员所需技能方面，约翰逊同样认为技术深度、机器学习环境安全经验以及整体软件工程能力都很重要。
"要挑选一名合格的AI评估员，我会找一个对不确定性极度从容、又对假装自己懂其实不懂的事极度不适的人。这种人能在AI模型公司发布日坐满一屋子聪明人的房间里说'我不信服'……这需要判断力和勇气，"他补充道。
AI领域的恐惧与厌恶
考克森9月8日的帖子浏览量达1.72亿次，似乎促使AI领袖们改变了方向。这位曾任职于OpenAI、后转投Anthropic的前AI研究员写道："这不是营销噱头。说实话，许多高管和资深研究员会在媒体上把措辞包装得听起来理性，但我私下听到同样这些人表达恐惧。没有任何其他人类活动构成如此级别的危险。"
至于考克森接下来会去哪里找工作，或许会是AI评估执行工程方面的职位。
Q&A
Q1：阿莫迪提出的AI评估员岗位是什么？
A：阿莫迪主张每家前沿AI公司都应承诺，为常驻第三方评估团队(如METR)提供类似正式员工的持续访问权限，负责核实安全实践与承诺的遵守情况、上报事件，并帮助评估已完成的AI模型以及训练管线和流程的对齐程度。
Q2：AI评估员的薪资和要求如何？
A：METR招聘的评估员年薪最高约68.7万美元，要求候选人足智多谋、独立自主，擅长失控威胁建模和拆解安全论证。Mercor的类似岗位薪资为18万至30万美元，要求博士或硕士学位及两年以上相关经验。
Q3：评估员发现问题后会发生什么？
A：迪翁·约翰逊认为，如果评估员只能在方便时提出担忧，那就不是独立监督，只是多了一层流程。评估员需要足够权限看到令人不适的内容，了解训练过程、测试失败之处和意外行为，还要敢于在发布日说"我不信服"。
