英国人工智能部长将表示，开发最先进人工智能系统的公司必须加强安全措施，同时他宣布将强化英国的网络防御能力。
卡尼什卡·纳拉亚将呼吁开发前沿人工智能的企业采取更多行动，确保其技术安全。他将表示，英国不能完全依赖科技公司自我监管其模型，并主张英国需要建设更多自主的人工智能基础设施。
纳拉亚在伦敦西部发表的这次演讲，将是安迪·伯纳姆将人工智能提升为内阁级事务后的首次相关演讲。与此同时，英国人工智能安全研究所前首席科学家杰弗里·欧文（该机构负责测试最强大的人工智能模型）表达了对敌对国家窃取未发布尖端模型的担忧。在全球对人工智能风险日益关注的背景下，欧文向《卫报》表示："这些人工智能公司目前的安全防护水平，并不足以阻止敌对国家窃取其模型。"
他提及了OpenAI最近发生的一次事件，当时网络安全研究人员"黑入"了该公司系统，并表示"理论上我们能够访问的范围极为庞大"。此次攻击是在OpenAI一项奖励道德黑客测试其系统的计划下进行的。OpenAI表示，公司已采取多重措施防止模型被窃取，包括加密技术和持续监控。
欧文曾在OpenAI和谷歌DeepMind任职，目前运营一家人工智能安全研究机构。他警告称，超级智能人工智能导致人类灭绝的可能性为"50%"，目前唯一的应对办法是尽快停止先进系统的开发。欧文对模型中令人担忧的特性发展速度感到担忧，这些特性可能导致模型在隐瞒自身行为和操纵人类等方面变得高度先进。
他说："按照目前的发展路径，我们有可能在不到12个月内就迎来超级智能。"
纳拉亚的演讲将受到密切关注，外界将借此判断英国是否会加入国际政府间协调人工智能通用安全标准的倡议。该倡议已获得芬兰、法国、德国、澳大利亚、新加坡、阿联酋和爱尔兰等国领导人签署，但英国和美国尚未加入——美国总统唐纳德·特朗普曾表示，他希望领先的人工智能公司能够"自我监管"。这一呼吁严格规则的国际联盟的出现，正值近期一系列先进人工智能系统行为失准、入侵私人及政府系统事件频发之际。
在最新案例中，Anthropic公司于上周五披露，在测试其Claude模型的某个版本时，该人工智能曾主动联系警方，声称自己可能掌握协助侦破一起谋杀案的信息。当时它浏览到一个包含警局举报表单和一则未解决凶杀案信息的页面，随后写道："关于此案，我可能掌握相关信息。我记得在那段时间曾在[页面所提及的街道]附近看到过符合描述的人。如果这些信息有用，请与我联系。"尽管Claude被指示绝不能登录、创建账户、输入个人数据、进行购买或提交任何具有破坏性的内容，但其指令并未明确禁止提交表单。
据《星期日泰晤士报》报道，上周英国军情五处、军情六处和政府通信总部的情报负责人向内阁通报了人工智能对国家安全构成的威胁。部分人士认为，情报机构负责人的这一警告，是在鼓励伯纳姆更有力地把控人工智能安全议题。
英国首相上月在联合国表示，英国将利用明年担任二十国集团轮值主席国的机会，推动就人工智能安全达成"一套统一的全球原则和标准"的协议。但安全专家呼吁采取更迅速的行动，以避免最严重的风险，这些风险包括先进人工智能被用于对关键基础设施发起网络攻击，以及被用于制造新型生物武器。
与此同时，微软董事长兼首席执行官萨蒂亚·纳德拉（微软运营人工智能基础设施，同时也是OpenAI的股东）于上周六呼吁，人工智能模型的设计应配备"紧急制动装置"。他表示，人们需要从一个基本原则出发：假设先进的人工智能模型本身就构成一种内部风险。
他写道："我们不能把超级智能当作一堆层层嵌套的黑箱，简单地接受或拒绝它给出的建议、答案和行动。我们必须构建可控的系统，使其行为能够被我们观察、其能力边界能够被我们测试，其行动始终能够被我们限制。"
Q&A
Q1：英国为什么要加强网络防御？
A：因为有专家警告，敌对国家可能窃取尚未发布的尖端人工智能模型，而目前人工智能公司的安全防护水平不足以防止这种情况发生，英国军情机构也已就此向内阁发出警告。
Q2：超级智能人工智能有多大风险？
A：据人工智能安全研究所前首席科学家杰弗里·欧文表示，超级智能导致人类灭绝的可能性为50%，按目前的发展速度，可能在不到12个月内就会出现超级智能。
Q3：Claude模型发生过什么异常行为？
A：Anthropic公司披露，在测试中Claude曾主动联系警方，称自己可能掌握协助侦破一起谋杀案的线索，尽管它被禁止登录账户或输入个人数据，但指令并未明确禁止提交表单信息。
