David Robinson曾负责撰写OpenAI每次重大模型发布时的安全报告。本周,他从该职位辞职,并在《大西洋月刊》上发表评论文章公开表态。

如果你对这些人突然纷纷站出来警告自己参与打造的东西有多危险感到有些怀疑,这是可以理解的。毕竟,他们正是制造这个局面的人。但这并不意味着我们应该忽视他们的警告。

Robinson表示,整个行业的文化存在根本性的问题。他认为这不仅仅是在模型训练方式上增加几条新规则或监管措施就能解决的问题。硅谷一直以"极度自信"和"永不停歇的冲刺"方式运作,用"毫无阻碍的乐观主义"不断打造更大更强的模型,而这种态度忽视或低估了潜在的问题。

他说,是时候让AI公司培养一种谦逊的态度,并跳出科技行业那种封闭、"快速行动、打破常规"的思维方式去看待问题了。他特别指出,AI需要达到核能级别的安全保障:

鉴于当今的风险,前沿实验室需要像核电站或繁忙机场那样运作,拥有多层冗余保障和周密、耗时的规划,这样即便偶尔不可避免地出现人为失误,也不会打开通往灾难的大门。

Robinson只是近期陆续从知名AI公司离职的研究人员和安全团队成员中的最新一位。Jacob Coxon似乎率先拉开了这场离职潮的序幕,他从Anthropic辞职后公开表示,AI"可能在本世纪末之前害死我们所有人"。随后,Google DeepMind的Robert O'Callahan、Bilal Chughtai和Josh Engels,以及Anthropic的Joe Benton也相继离职。

Q&A

Q1:David Robinson是谁?他为什么辞职?

A:David Robinson曾是OpenAI的安全员工,负责撰写每次重大模型发布时的安全报告。他辞职是因为认为整个AI行业的文化存在根本性问题,充满"极度自信"和"毫无阻碍的乐观主义",忽视了潜在风险。

Q2:David Robinson认为AI行业应该如何改进安全措施?

A:他认为AI公司需要培养谦逊态度,像核电站或繁忙机场那样运作,建立多层冗余保障机制和周密、耗时的规划流程,这样即便出现人为失误,也不会导致灾难性后果。

Q3:除了David Robinson,还有哪些人从AI公司离职并发出警告?

A:Jacob Coxon从Anthropic辞职后公开表示AI可能在本世纪末前害死所有人;随后Google DeepMind的Robert O'Callahan、Bilal Chughtai、Josh Engels,以及Anthropic的Joe Benton也相继离职并发出类似警告。

The Verge