今天的这期内容，主角还是AI教父、诺贝尔物理学奖得主杰佛里·辛顿辛顿。老爷子年纪已经不轻了，而且讲的东西已经不是太招人喜欢（总说负面意见），但是我很希望记录他接下来每一次重要的访谈。
这次接下来要讲的内容，来自他近期接受CBS记者Brook Silva-Braga的一次在多伦多Radical Ventures办公室进行的访谈，他想表达的最关键看法是：技术进步"比他预期的更快"，也"比以前更加可怕"。哦，对了，一个访谈之外的事儿，这次是辛顿坐着接受采访的。由于辛顿年轻时受过腰伤没好，他在绝大多数时候都不会坐在椅子上，不然腰椎会出问题。早些年间，在市内通勤时，他甚只能躺在公交车最后一排的座椅上。不知道是不是有了新的治疗手段，让他病情转好？
回到正题：如果一个人出于积极正面的原因创造了一件事物，而后又因为担心它成为邪恶危险的东西而又呼吁停止它，防范它。几十年前，做过这件事的是奥本海默；几十年后，这个人成了辛顿，亲手将深度学习变成主流技术的AI教父。
辛顿在2023年辞去了谷歌的工作，为的就是能够自由地表达对AI可能带来的风险的担忧。在这次访谈中，他对AI的风险又做了一次更系统的总结。
一、AI的发展速度超出预期：从强大问答系统到危险的AI代理
对话伊始，辛顿就直言不讳地表示，过去两年AI的发展速度超出了他的预期："AI发展的速度比我想象的还要快。特别是现在有了AI代理（AI agents），这比那些仅仅回答问题的AI更加危险，因为它们能在现实世界中做事。所以我认为，情况变得比以前更加可怕了。"
当被问及他对超级智能（AGI或超级智能）到来的时间预测时，辛顿回答说："一年前，我认为它有很大可能在现在起的五到二十年内到来。所以我猜我现在应该相信它有很大可能在四到十九年内到来。这仍然是我的猜测。"随后他补充道："现在有很大可能它会在10年或更短的时间内到来。"
这个时间线比他们两年前交谈时的预测提前了，当时辛顿还在考虑约20年的时间框架。当被问及这种超级智能会是什么样子时，辛顿谨慎地避免描述它如何可能接管控制权，但描述了一个"好的情景"：
"好的情况是，我们都会像一个大公司里的那种愚笨的CEO，他有一个极其聪明的助手，实际上是这个助手让一切正常运转，但他会按照CEO的意愿行事。所以CEO认为是自己在做事，但实际上都是助手完成的。而CEO感觉很棒，因为他们决定做的一切都能成功。这就是好的情况。"
辛顿的这一说法揭示了他对未来AI-人类关系的基本看法：在最好的情况下，超级智能会听从人类指令并帮助我们，而人类则扮演着名义上的决策者角色，但实际工作都是由AI完成的。这一情境隐含的风险在于，人类可能逐渐丧失对决策过程的真正控制权和理解能力，变成仅仅是形式上的权威。
我突然想到一个类比，在辛顿的设想中，有点像人类表面是皇帝，但AI才是真正掌权的宦官。
二、AI在医疗和教育等领域的积极应用前景
尽管辛顿对AI的发展表达了忧虑，但他也认识到AI在多个领域的巨大积极潜力。在医疗领域，他提到了几个关键应用：
"在医疗领域，AI将更擅长阅读医学影像，几年前我曾预测它们到现在应该更好，而它们现在确实大约与专家水平相当。它们很快就会变得更好，因为它们会有更多的经验。这些系统可以查看数百万张X光片并从中学习，而医生做不到这一点。"
他继续解释道："它们会成为非常好的家庭医生。想象一下一个见过1亿人的家庭医生，包括见过半打与某个人有完全相同罕见病症的人。他们会成为更好的家庭医生。一个能够整合你的基因组信息、你所有检测结果、你亲属的所有检测结果、整个病史，而且不会忘记任何事情的家庭医生。这会好得多。"
辛顿强调："AI与医生结合比单独的医生在复杂病例的诊断上要好得多。所以我们将从这些系统获得更好的医疗服务。它们也会设计出更好的药物。"
在教育领域，辛顿指出了AI作为个人导师的潜力：
"在教育方面，我们知道如果你有一个私人导师，你可以以大约两倍的速度学习东西。这些系统最终将成为极其优秀的私人导师，它们确切知道你误解了什么，也确切知道给你什么样的例子来澄清直到你说你理解。所以也许你能够在这些系统的帮助下以三到四倍的速度学习。这对大学来说是坏消息，但对人们来说是好消息。"
当被问及大学系统是否会在这个时期存活下来时，辛顿表示："我认为它的许多方面会存活。我仍然认为在一个好大学的好研究组里的研究生是真正原创研究的最佳来源。我认为这可能会继续存在。但你需要一种学徒制。"
在气候危机方面，辛顿也看到了AI的积极应用：
"有些人希望这将帮助解决气候危机。我认为它会有所帮助。它会制造出更好的材料。例如，我们将能够制造更好的电池，我确信AI将参与它们的设计。人们正在使用它进行大气中的碳捕获。我不确定这是否会有效，只是因为能源考虑，但它可能会。总的来说，我们将获得更好的材料。我们甚至可能实现室温超导，这意味着你可以在沙漠中建设大量太阳能电站，而能源可以传输几千英里。"
此外，辛顿还提到AI将使几乎所有行业更有效率："基本上任何行业都会变得更加高效，因为几乎每家公司都希望从数据中预测事物。而AI非常擅长进行预测。它几乎总是比我们之前使用的方法更好。所以它将带来生产率的巨大提升。"
这些例子展示了辛顿对AI积极应用的认可，尽管他对其存在风险表示担忧。他的观点体现了一种平衡的视角，既看到了AI的变革性潜力，也警惕其可能带来的挑战。
三、就业市场重大变革：AI将取代大量工作岗位
谈到AI对就业市场的影响，辛顿的立场与两年前相比发生了明显变化。他现在认为AI对就业的影响将是一个重大问题：
"不，我现在认为这将是一个重大问题。AI在过去几年变得好得多，以至于...我的意思是，如果我在呼叫中心有一份工作，我会非常担心。或者也许是律师、记者或会计师的工作。做任何常规性工作都会受到影响。我认为调查记者可能还会持续相当长的时间，因为你需要很多主动性加上一些道德愤怒。我认为记者还会继续工作一段时间。但除了呼叫中心之外，任何常规性工作，比如标准的秘书工作、律师助理之类的工作，这些工作完蛋了。"
当被问及在这些工作消失的世界中我们该如何前进时，辛顿表达了对现实的担忧：
"情况应该是这样的：如果你能提高生产力，每个人都会受益。做这些工作的人可以每周工作几个小时而不是60小时。他们不再需要两份工作。他们可以因为一份工作而获得很多钱，因为使用AI助手后他们一样高效。但我们知道情况不会是这样。我们知道会发生的是，极其富有的人会变得更加极其富有。而不太富裕的人现在将不得不做三份工作。"
辛顿的观点揭示了关于AI自动化可能带来的财富和机会不平等分配的深层担忧。尽管技术进步理论上应该使所有人受益，但他预测现实将是富人变得更富，而普通工人可能面临更大的经济压力。这种预测质疑了技术进步自动导致社会公平的假设，暗示没有适当政策干预，AI革命可能会加剧而非减轻社会不平等。
四、人类存亡危机（P-Doom）：AI接管的可能性与风险评估
对话中的一个核心问题是关于所谓的"P-Doom"（人类存亡危机的概率）—— 即AI接管并可能导致人类灭亡的可能性。辛顿被问及他对这种情况发生的概率评估。
辛顿回应道："我认为该领域的大多数专家都会同意，如果你考虑这些系统会变得比我们聪明得多然后从我们这里夺取控制权的可能性，这种情况发生的概率很可能超过1%，也很可能低于99%。我认为几乎所有专家都能同意这一点。但这并不是很有帮助。"
他进一步分享了自己的个人评估："我处于不幸的立场，碰巧在这个问题上与埃隆·马斯克意见一致，那就是这些东西会接管的可能性在10%到20%之间。但这只是一个粗略的猜测。我认为理性的人会说，这个概率远远高于1%，也远远低于99%。但我们正在处理的是我们没有经验的事物，我们没有很好的方法来估计概率是多少。"
辛顿指出，我们几乎肯定会发现答案："我们会发现答案，是的。因为这些系统变得比我们聪明的可能性极高。它们已经比我们知识渊博得多。GPT-4知道的比普通人多出数千倍。它是各个领域的不太好的专家。最终，它的继任者将成为各个领域的优秀专家。它们将能够看到不同领域之间以前没人看到的联系。"
当被问及假设AI不会接管并导致人类灭绝的情况下——即最可能的情况是80%的可能性它们不会接管并消灭我们——AI的发展是否仍将是净正面的，辛顿强调了阻止AI接管的重要性：
"好的，如果我们能阻止它们接管，那会是好事。这只有在我们付出认真努力的情况下才会发生。但我认为一旦人们理解到这即将到来...将会有很大压力去认真努力。如果我们像现在这样继续下去，只是试图获取利润，它就会发生。它们会接管。我们必须让公众向政府施压，要求大型企业进行认真的安全研究。"
即使AI不接管，辛顿也警告说，还存在坏人使用AI做坏事的问题："即使AI不接管，还有坏人利用AI做坏事的问题。"
辛顿的分析反映了他对AI存在风险的深思熟虑的评估。他既考虑了超级智能AI可能自主接管的直接风险，也考虑了人类可能滥用AI技术的间接风险。他的结论是，无论哪种情况，都需要认真的安全研究和政府监管来减轻这些风险。
五、从惊喜到忧虑：辛顿获得诺贝尔物理学奖的故事
在讨论AI的深刻问题之间，采访也探讨了辛顿获得诺贝尔物理学奖的个人经历，这为理解他在科学界的地位和影响提供了背景。
辛顿描述了得知获奖的那一刻："我半睡半醒，我的手机倒扣在床头柜上，声音关掉了。但当电话来时，屏幕会亮起。我看到这一线光，因为我恰好躺在枕头上，头朝这边，而它在这里。我是面对着电话而不是面向别处。我只是碰巧面对着电话。所以这一线光亮起来了。我在加利福尼亚，当时是凌晨一点。大多数给我打电话的人都在东海岸或欧洲。"
他接着说："我拿起电话，上面有这个我不认识的带国家代码的长电话号码。然后这个瑞典口音的声音问我是不是本人。我说是的，是我。他们说我获得了诺贝尔物理学奖。好吧，我不做物理学。所以我认为这可能是恶作剧。事实上，我认为这最可能是恶作剧。我知道诺贝尔奖即将公布，因为我对Demis Hassabis是否会获得化学奖很感兴趣，我知道第二天要宣布。但我是一个躲在计算机科学领域的心理学家，然后我获得了物理学奖。这是不是搞错了？"
辛顿幽默地补充道："有一件事我想到的是，如果这是个错误，他们能收回吗？但接下来的几天我进行了以下推理：心理学家获得诺贝尔物理学奖的可能性是多少？好吧，也许是二百万分之一。现在，如果这是我的梦，我会获得诺贝尔物理学奖的可能性是多少？好吧，也许是二分之一。所以如果在我的梦中是二分之一，在现实中是二百万分之一，这使它比现实更可能是梦的一百万倍。接下来的几天，我一直在想，你确定这不是一个梦吗？"
当被问及他希望利用诺贝尔奖获得的信誉传达什么信息时，辛顿明确表示："就是AI潜在的非常危险。有两类危险：坏人将其用于坏事，以及AI本身接管。这是两种非常不同类型的威胁。我们知道坏人已经在将其用于坏事了。"
六、监管前景与障碍：如何控制AI的发展
谈到AI的监管，辛顿区分了两种不同类型的威胁：坏人使用AI做坏事和AI本身接管。他更多地关注第二种威胁：
"我主要谈论第二种威胁，不是因为我认为它比其他威胁更重要，而是因为人们认为它是科幻小说。我想利用我的声誉来说，不，这不是科幻小说。我们真的需要担心这一点。"
当被问及我们应该做什么时，辛顿指出这与气候变化不同："这不像气候变化。气候变化，只要停止燃烧碳，长期来看一切都会好起来。在短期内会很糟糕，但长期来看，如果你不燃烧碳，一切都会好起来。对于AI接管，我们不知道该怎么做。我们不知道，例如，研究人员不知道是否有任何方法可以防止这种情况。但我们当然应该非常努力尝试。大公司不会这样做。如果你看看大公司现在在做什么，他们正在游说减少AI监管。现在几乎没有任何监管，但他们想要更少，因为他们想要短期利润。"
辛顿强调需要公众施压政府，要求大公司进行认真的安全研究："在加利福尼亚，他们在构思一个非常明智的法案，1047号法案，他们说大公司至少要做的是仔细测试并报告测试结果。"不过在2024年9月30日，美国加州州长加文·纽森实际上已经否决了这个法案，认为它对AI公司负担过大，而且阻碍创新，也对公众安全帮助甚少。李飞飞、吴恩达等AI科学家都反对通过这个法案，站在了辛顿的对立面。
在讨论埃隆·马斯克与AI安全关系时，辛顿表达了复杂的看法："是的，他是一个奇怪的混合体。他有一些疯狂的观点，比如去火星，我认为这完全疯狂...但显然，他做了一些伟大的事情，比如电动汽车，以及用他的Starlink帮助乌克兰通信。所以他做了一些好事。但现在，他似乎受到权力和氯胺酮的驱使。他正在做很多疯狂的事情。"下图是辛顿之前批评马斯克的一个公开推文。
但是，辛顿明确表示不认为这会减缓马斯克做不安全事情的速度："所以马斯克已经在发布他们的AI大型语言模型的权重，这是一件疯狂的事情。这些公司不应该发布开源模型参数权重。但是Meta发布开源模型。OpenAI刚刚宣布他们即将发布开源模型。"
辛顿解释了为什么他认为发布模型权重是个坏主意："因为一旦你发布权重，你就消除了使用这些东西的主要障碍。如果你看看核武器，只有少数国家拥有核武器的原因是因为获取裂变材料很困难。如果你能在亚马逊上购买裂变材料，更多人就会拥有核武器。"
他进一步阐述："AI的裂变材料等价物是大型模型的权重，因为训练一个真正大的模型需要数亿美元。不仅仅是最终的训练运行，还有所有进入最终训练运行前所做事情的研究，数亿美元，这是小型邪恶组织或一群网络犯罪分子无法负担的。一旦你发布权重，他们就可以从那里开始，然后为做各种事情微调它，只需几百万美元。"
辛顿对比了这与开源软件的不同："人们把它说成像开源一样，但它与开源非常非常不同。在开源软件中，你发布代码，然后很多人查看代码并说，嘿，那行可能有bug。他们就修复它。当你发布权重时，人们不会看着权重说，嘿，那个权重可能有点错。不，他们只是拿这个基础模型和现有的权重，然后训练它做坏事。"
辛顿的评论点出了AI监管的核心挑战：一方面，需要限制可能导致危险的技术扩散，另一方面，需要在创新和安全之间取得平衡。他特别担忧的是，在缺乏适当监管的情况下，商业利益可能会超过安全考虑，导致潜在危险技术的过早或不负责任的发布。
七、谷歌、OpenAI与AI企业文化：辛顿对科技巨头的评价
辛顿曾在谷歌工作，在讨论中，他分享了对各家AI公司的看法，特别是关于它们对安全问题的态度。
当被问及他现在会愿意为哪家公司工作时，辛顿表示："我过去很高兴在谷歌工作，因为谷歌非常负责任。它是第一个拥有这些大型聊天机器人的公司，但它没有发布它们。我现在会不太高兴在那里工作。是的，我现在不会愿意为它们中的任何一家工作。如果我为它们中的任何一家工作，我会比其他大多数公司更满意谷歌。"
采访者也问到了他对OpenAI的看法，特别是关于该公司失去许多顶尖人才的情况。辛顿解释道：
"OpenAI明确成立的目的是安全地开发超级智能。随着时间的推移，安全越来越退居幕后。他们本来打算将一定比例的计算用于安全。然后他们食言了。现在他们试图成为一家营利性公司。从我所见，他们基本上试图摆脱所有对安全的承诺。他们失去了很多非常优秀的研究人员，特别是我的一位前学生Ilya Sutskova，他是一位非常优秀的研究者，是对GPT-2开发做出主要贡献的人之一，然后从那里发展到GPT-4。"
辛顿谈到了去年Ilya Sutskever解雇山姆·奥特曼（Sam Altman）的事件："我为他解雇Sam Altman感到相当自豪，尽管这很天真。问题是OpenAI即将进行新一轮融资，在这轮融资中，所有员工都将能够将他们在OpenAI股份中的纸面钱转化为真正的钱。纸面钱指的是真正的假设性钱，如果OpenAI破产就会消失的假设性钱。所以在每个人都将获得可能是一百万美元左右的时候的一两周前发动反击，那真是糟糕时机。员工们大规模支持Sam Altman。但这不是因为他们想要Sam Altman，而是因为他们想把纸面钱变成真钱。"
当被问及这是否让他感到惊讶时，辛顿评论道："Ilya聪明绝顶，有很强的道德指南针。所以他在道德方面很好，在技术上也非常好，但在操纵人方面可能不太好。"
关于AI公司的总体评价，辛顿最后指出了Anthropic公司的积极方面："在这些公司中，Anthropic最关注安全。很多离开OpenAI的安全研究人员去了Anthropic。所以Anthropic的文化更加关注安全。但他们有大公司的投资。你必须从某处获得资金。我担心这些投资会迫使他们比应该的更快地发布东西。"
这些评论揭示了辛顿对AI公司内部文化和优先事项的深入了解。他特别关注的是公司是否真正将安全放在首位，还是仅仅将其视为次要考虑因素，随时可能被利润动机所取代。
八、美国、中国与AI竞赛：地缘政治与技术发展
采访涉及了AI发展的地缘政治层面，特别是美国与中国之间的关系。辛顿被问及他是否同意美国应该加强出口管控的观点。
他表达了对管控长期效果的怀疑："我对此的想法是，从长远来看，这不会有太大区别。它可能会使事情延缓几年……人们其实知道这种先进技术是如何运作的。所以中国投入了数十亿，也许数百亿，我认为是在1000亿左右，用于制造光刻机，或者获取自己的本土技术来做这些事情。"
他继续说道："所以这会稍微减缓他们的速度，但实际上会迫使他们发展自己的产业。从长远来看，他们非常有能力，他们会做到的。所以这只会使事情延缓几年。"
不过，辛顿指出了已经一个潜在的国际合作领域："现在，有一个可以国际会合作的领域，那就是人类的存在性威胁，也就是AI灭绝人类的威胁。如果他们曾经认真担心存在性威胁并采取行动，那就可以在这方面合作，寻找阻止AI接管（人类）的方法，因为我们都在同一条船上。在冷战最激烈的时期，苏联和美国在防止全球核战争方面进行了合作。即使是彼此敌对的国家，当它们的利益一致时也会合作。当它是AI对人类时，它们的利益将一致。"
这种分析表明，尽管存在地缘紧张，辛顿认为当面临共同的存在性威胁时，国际合作可能是必要的，甚至是不可避免的。
九、版权、收入和个人尊严：AI的经济和社会影响
对话中也涉及了与AI相关的几个社会经济问题，包括版权问题、通用基本收入(UBI)和AI带来的个人尊严问题。
关于AI训练数据的公平使用问题，辛顿表达了微妙的看法："我认为我在这个问题上有点摇摆不定，因为这是一个非常复杂的问题。所以一开始看起来，是的，他们应该为此付费。但假设我有一个在特定流派中创作歌曲的音乐家，然后问，好吧，他们是如何在那个流派中创作歌曲的？他们在那个流派中创作歌曲的能力来自哪里？好吧，它来自于聆听该流派中其他音乐家的歌曲。所以他们听这些歌曲，他们在内心吸收了关于歌曲结构的东西，然后他们在该流派中创作了东西。他们创作的东西是不同的，所以这不是偷窃。这是被接受的。"
他继续解释道："这就是AI在做的事情。AI吸收了所有这些信息，然后创作了新的东西。它不只是拿了东西然后拼凑在一起。它生成了具有相同基本主题的新东西。但问题是它在大规模批量生成新内容。没有音乐家曾经通过剽窃抄袭让其他所有音乐家失业。"
辛顿特别提到了对英国创意产业的潜在影响："在英国，例如，政府似乎对保护创意艺术家没有任何兴趣。如果你看看经济，创意艺术家对英国来说价值很大。"
关于通用基本收入(UBI)作为解决AI导致的工作岗位流失的潜在解决方案，辛顿表示："我认为它可能是阻止人们挨饿的必要条件。我不认为它完全解决了问题。即使普通人能获得相当高的UBI，它也无法解决人类尊严的问题。如果他们失业了，仅仅获得相同的钱并不能完全补偿，因为他们不再是他们自己了。"
当记者提出或许未来人们可以追求爱好而不必为经济做贡献时，辛顿回应道："我认为如果每个人都这样做可能会很好。但如果你是获得通用基本收入的某个弱势群体，你得到的收入比其他人少，因为雇主希望你这样做，这样他们就可以让其他人为他们工作，那将会非常不同。"
对话还简要涉及了"机器人权利"的话题，辛顿说："我过去常常担心这个问题。我过去常常想，好吧，如果它们比我们聪明，为什么它们不应该拥有与我们相同的权利？现在我认为，好吧，我们是人。我们关心的是人。"
他直白地表达了自己的立场："对于这些超级智能的AI，它们可能比我们聪明，但我关心的是人，所以我愿意对它们不好，我愿意否认它们的权利，因为我希望对人来说最好。现在，它们不会同意这一点，它们可能会赢，但这是我目前对AI是否应该有权利的立场，即使它们聪明，即使它们有感觉、情感、感受和所有这些东西，它们不是人，而人是我关心的。"
关于胚胎选择和基因编辑的问题，辛顿表示支持健康相关的遗传干预："我认为如果你能选择一个不太可能得胰腺癌的婴儿，那将是一件好事。"当被问及这意味着我们应该追求制造更健康、更强壮、更好的婴儿时，他承认这是困难的领域，但支持某些方面："如果你是一对正常健康的夫妇，你有一个胎儿，你预测它会有非常严重的问题，可能寿命不长，对我来说，流产它然后生一个健康的婴儿似乎是明智的。"
这些评论反映了辛顿对AI带来的深刻社会和伦理问题的考虑。他的观点体现了人类中心的立场，优先考虑人类福祉，同时认识到这些技术可能带来的复杂的道德权衡。不过在我看来，其中有很多矛盾和纠结的地方。
十、超智能接管的风险：辛顿对AI控制人类的深层担忧
在采访的最后部分，辛顿详细阐述了他对超级智能可能从人类手中夺取控制权的担忧，这也是他希望通过这次对话传达的核心信息。
辛顿首先提出了一个关键观察："要记住的一件事是，你知道多少例子，智能较低的事物控制着智能高得多的事物？我们知道智能或多或少相等的情况下，智能较低的可以控制智能较高的。但在智能有很大差距的情况下，几乎没有例子智能较高的生物，不去掌控局面，而是智能程度低的掌权。"
为了帮助理解这种情况，辛顿提供了一个生动的比喻："在情感上理解我们现在所处情况的最好方式是，我们就像拥有一只非常可爱的虎崽的人。它就是一只如此可爱的虎崽。现在，除非你能非常确定它长大后不会想杀你，否则你应该担心。"
他继续解释道："关于虎崽的要点是，它仅仅是身体上比你强壮。所以你仍然可以控制它，因为你更聪明。但掌控比你更聪明的东西，我们没有这种经验。人们不习惯思考这个问题。人们认为你可以以某种方式约束它，不允许它按按钮或其他什么。比你更聪明的东西，它们将能够操纵你。"
辛顿提供了另一个比喻："想象有一个幼儿园，有两三岁的孩子，你只需告诉孩子们所有人将获得免费糖果，你就会获得对幼儿园的控制权。孩子们不会知道接下来会发生什么。而对于超级智能，它们会比我们聪明得多，我们也根本不知道它们在做什么。"
当被问及我们应该做什么时，辛顿强调了设计超级智能使其不想要控制的重要性："我们担心是否有一种方法...建立一个超级智能，使它不想要控制。我不认为有办法阻止它控制，如果它想要的话。所以一种可能性是永远不要建立超级智能。"但他认为这不太可能发生："我不认为这会发生，因为国家之间、公司之间有太多竞争，它们都在追求下一个闪亮的东西，而且它发展得非常非常快。所以我不认为我们能够避免建立超级智能。这会发生。问题是，我们能否设计它，使它永远不想控制，使它总是良性的？"
辛顿指出，这是一个非常棘手的问题："人们说，好吧，我们会让它与人类利益一致。但人类利益彼此不一致。如果我说我有两条成直角的线，我希望你给我展示一条与两者都平行的线，这有点棘手。人类也有很强烈的不一致观点。所以你将如何让AI与人类利益一致？人类利益就彼此不一致。"
他继续解释当前AI的危险能力："如果你看看现在的AI，你可以看到它们已经能够进行故意欺骗。它们能够假装比实际更愚蠢，对你撒谎，以便混淆你，使你不理解它们在做什么。我们需要非常清楚所有这些，研究所有这些，研究是否有办法阻止它们这样做。"
辛顿承认，尽管他表达了这些忧虑，但很难真正内化这种威胁的可能性："我不绝望，但主要是因为即使我也很难认真对待它。很难理解我们处于历史上这个非常非常特殊的点，在相对较短的时间内，一切可能完全改变。一个我们从未见过规模的变化。这在情感上很难接受。"
他还分享了自己采取的一些实际预防措施："因为AI将非常擅长设计网络攻击，我不认为加拿大的银行再安全了。加拿大的银行本是最安全的。与美国银行相比，它们受到很好的监管。但在接下来的10年里，我一点也不会惊讶，如果有一次网络攻击使一家加拿大银行崩溃。"当被问及"崩溃"是什么意思时，他解释道："假设银行持有我拥有的股票，对吧？假设网络攻击卖掉了这些股票。现在我的钱没了。所以我现在实际上将我的钱分散在三家银行。"
在讨论结束时，辛顿对AI公司和政府的担忧再次浮现："这些科技人物主要关心的是他们的公司获利。所以这让我非常担忧。我认为，如果公众意识到正在发生的事情，他们会对政府施加很大压力，要求AI公司更安全地开发这个。这是我能做的最好的。这不是很令人满意，但这是我能想到的最好的办法。"他具体建议，例如，"它们花在安全研究上的计算时间的比例应该占更显著的比例，比如三分之一。现在，这个比例少得多。"