众所周知，辛顿2023年离开谷歌后，就从一个AI的乐观派，变成一个AI的风险派。但没变化的，是辛顿一直都是少数派，毕竟很少有人相信AI真有他说的那么危险。
昨天，著名播客《CEO日记》（The Diary Of A CEO）发布了主持人史蒂文·巴特利特（Steven Bartlett）对辛顿的深度访谈，是近期辛顿公开谈话最深入的一次了。播客长达一个半小时，文字版也有近两万字。我并非支持他的全部观点，但却比较喜欢看他思考问题的推理过程，而且其中又包含有关AI技术原理的高信息量内容。
先三个QA归纳辛顿的核心观点：
Q: AI发展是否还能被"叫停"？
A: 不可能。就像核武器技术一样，一旦强大的技术被释放到世界，就很难收回。AI的不同之处在于，它对军事、商业价值太大，没有国家愿意单方面停止发展。辛顿的判断很残酷：我们只能确保AI不想伤害人类，而不能阻止它获得伤害人类的能力。这个洞察适用于任何颠覆性技术——安全机制必须在技术变得过于强大之前建立，而不是事后补救。
Q: 为什么监管总是跟不上技术发展？
A: 因为存在根本性的速度错配。制度按年计算，技术发展按月甚至按周计算。当美国教育部长把AI说成"A1"时，你就知道监管者与技术现实之间的鸿沟有多大。更危险的是，等政客们搞清楚技术是什么的时候，游戏规则可能已经被重写了。这解释了为什么所有快速发展的行业都会经历"野蛮生长"阶段——不是监管者不想管，而是真的管不过来。
Q: 当机器比人更聪明、更高效时，人类的价值何在？
A: 这可能是本世纪最重要的哲学问题。全民基本收入能解决温饱，但解决不了尊严问题。辛顿指出，对很多人来说，身份认同与工作密不可分。当AI能做所有脑力劳动时，人类需要重新定义自己的存在意义。这不仅是经济转型，更是文明转型——我们必须找到除了生产力之外的其他方式来体现人类价值。这个挑战将影响每一个行业、每一个职业，甚至每一个人。
看到这第三个QA，我也在想：现代人体力工作越来越少，所以出现一种要花钱去“干活”的服务，就是健身；未来，AI能力越来越强，如果导致我们很少用到脑力，会不会出现一种新业态：人类要花钱用脑。（难道要倒找钱上班？）
一、为什么被称为"AI教父"：50年的坚持与突破
访谈一开始，当被问及"AI教父"这个称号的由来时，他解释说，这个称号源于他在一个几乎无人相信的研究方向上坚持了整整50年。
在AI发展的早期阶段，从1950年代开始，学术界主要存在两种不同的AI发展理念。主流观点认为人类智能的核心是推理能力，要实现AI就必须基于某种形式的逻辑系统。这种方法强调在计算机中建立符号表达式，通过规则来操作这些符号，从而模拟人类的思维过程。支持者认为，学习和类比推理等能力会在基本推理能力建立之后自然出现。
而辛顿选择了一条截然不同的道路。他坚信应该以大脑为模型来构建AI系统，因为大脑显然是产生智能的器官。这种方法要求在计算机上模拟脑细胞网络，通过学习调整脑细胞之间连接的强度，让AI系统学会完成复杂任务，比如识别图像中的物体、语音识别，甚至进行推理。
"因为相信这种方法的人很少，所以如果你从事这个方向的研究，最优秀的年轻学生就会来和你一起工作"，辛顿回忆道。这种看似劣势的处境反而成为了他的优势，让他能够吸引到真正有天赋且愿意承担风险的研究者。
辛顿并不是这种想法的唯一支持者。他特别提到，约翰·冯·诺依曼和阿兰·图灵这两位计算机科学的先驱都曾相信神经网络方法。"如果他们中的任何一位活得更久，我认为AI的发展历史会截然不同"，辛顿感叹道。这两位天才的英年早逝，让神经网络方法在很长时间内处于学术边缘。
正是在这种学术孤独中，辛顿培养出了一批后来改变世界的学生。其中最著名的是伊利亚·苏茨克维（Ilya Sutskever），他是GPT-2等早期ChatGPT版本开发的核心人物。这些学生后来创建或在OpenAI等重要AI公司中发挥关键作用，验证了辛顿50年前的预见。
2012年，辛顿和他的学生们开发的AlexNet系统在图像识别竞赛中取得突破性成果，这标志着深度学习时代的正式开始。谷歌随后收购了他们的公司DNN Research（深度神经网络研究），辛顿在65岁的"高龄"加入谷歌，开始了为期10年的工业界研究生涯。然而，正是在谷歌的这段经历让他真正认识到了AI发展可能带来的深层风险。
二、离开谷歌的真相：为了自由发声的艰难决定
2023年，75岁的辛顿做出了一个震惊科技界的决定：离开谷歌，公开讨论AI的安全风险。这个决定的背后，既有个人因素，也有对技术发展方向的深刻担忧。
辛顿坦率地承认，离开谷歌的主要原因是年龄。"我75岁了，我想退休"，他说道，并自嘲地补充："我在退休这件事上做得很糟糕。"在技术工作方面，他发现自己在编程时犯错误的频率明显增加，这让他感到烦恼。
但离开的具体时机却是经过精心考虑的。辛顿解释说，他选择这个时间点离开，是为了能够在MIT科技评论组织的一场会议上"自由发言"。虽然谷歌实际上鼓励他留下来从事AI安全研究，并承诺他可以在这个领域做任何想做的工作，但辛顿认为存在一个根本性的道德冲突。
"如果你为一家大公司工作，你就不会觉得说一些可能损害这家大公司的话是对的"，辛顿解释了他的考虑。即使公司允许这样做，他个人也觉得这样做是错误的。这种自我审查机制让他无法完全坦率地表达对AI风险的担忧。
值得注意的是，辛顿强调他并不是因为对谷歌的做法感到愤怒而离开的。相反，他认为谷歌在AI发展方面表现得相对负责任。在拥有大型聊天机器人技术时，谷歌选择不发布它们，这可能是出于对公司声誉的担忧。谷歌拥有良好的声誉，不想损害它。
而OpenAI的情况则不同。辛顿指出，OpenAI没有既有的声誉需要保护，因此他们可以承担发布ChatGPT的风险。这种对比揭示了科技行业中一个有趣的动态：有时候，缺乏声誉负担反而可能成为创新的优势。
辛顿在谷歌期间主要从事两个方向的研究。一是知识蒸馏（distillation）技术，这是一种将大型神经网络的知识转移到小型神经网络中的方法，现在在AI领域得到广泛应用。二是模拟计算研究，探索是否可以让大型语言模型在模拟硬件上运行，从而大幅降低能耗。
正是在进行模拟计算研究时，辛顿开始真正意识到数字AI相比生物智能的巨大优势，这成为了他对AI风险担忧的重要转折点。这种认识，结合ChatGPT等系统展现出的能力，让他确信AI发展已经到达了一个临界点，必须认真对待其潜在风险。
三、AI风险的两大类别：人类滥用与机器觉醒
在深入讨论具体威胁之前，辛顿首先建立了一个重要的分析框架。他强调必须区分两种完全不同类型的AI风险：一是来自人类滥用AI的风险，二是来自AI变得超级聪明并决定不再需要人类的风险。
第一类风险涵盖了大部分风险，也是所有短期风险。这些风险源于人类如何使用AI技术，包括网络攻击、生物武器、选举腐败、回音室效应和自主杀伤性武器等。这些威胁虽然严重，但本质上仍然是人类行为的产物，AI只是被用作工具。
第二类风险则是存在性威胁：AI系统本身变得比人类更聪明，并可能决定人类是多余的。辛顿特别关注这个风险，因为很多人质疑它是否真实存在。"是的，这是真实的风险"，他断言道。
关于第二类风险的概率评估，辛顿承认这是一个前所未有的情况。"我们从来没有遇到过比我们更聪明的东西"，他说。"任何告诉你他们知道会发生什么以及如何应对的人，都是在胡说八道。"
在概率估计方面，辛顿观察到学术界存在极端分化的观点。他的朋友扬·勒昆（Yann LeCun）认为风险微乎其微，坚信人类总是能够控制这些系统，因为我们建造了它们，可以让它们保持服从。另一个极端是埃利泽·尤德科夫斯基（Eliezer Yudkowsky），他确信如果任何人建造出超级智能AI，它必然会消灭所有人类。
辛顿认为这两种立场都过于极端。基于直觉判断，他估计AI消灭人类的概率在10%到20%之间。这个估计基于这样的希望：如果有足够多的聪明人投入足够的资源进行研究，人类可能会找到一种方法来构建永远不想伤害人类的AI系统。
为了说明超级智能AI的威胁程度，辛顿用了一个生动的比喻："如果你想知道当你不是顶级智能时生活是什么样的，问问鸡就知道了。" 这个比喻揭示了一个残酷的现实：当存在智能差距时，低智能生物的命运往往掌握在高智能生物手中。
辛顿进一步解释说，我们无法阻止超级AI摆脱人类，如果它想这样做的话。"它比我们聪明，对吧？我们不习惯思考比我们更聪明的东西。"因此，关键不是防止超级AI获得消灭人类的能力，而是确保它永远不想这样做。这就是为什么AI安全研究如此重要的原因。
四、网络攻击激增：AI驱动的数字威胁新时代
在具体的AI滥用风险中，网络攻击是最直接和最紧迫的威胁之一。辛顿提供了一个令人震惊的统计数据：2023年到2024年间，网络攻击增加了约12倍，增长率达到1200%。这种爆炸性增长很大程度上归因于大型语言模型使网络钓鱼攻击变得更加容易。
网络钓鱼攻击的传统形式相对容易识别。比如收到声称来自朋友约翰的邮件，说他被困在萨尔瓦多需要汇款。但AI技术的发展让攻击者能够克隆声音和图像，制作出极其逼真的虚假内容。史蒂文·巴特利特分享了他面临的现实问题：有人使用AI技术复制了他的声音和举止，在Meta平台上投放付费广告，诱导人们参与加密货币庞氏骗局。
"他们拿走了我播客中的声音，拿走了我的举止，制作了一个新视频，让我鼓励人们参与这个加密庞氏骗局"，巴特利特描述道。更令人沮丧的是，这种攻击具有"打地鼠"特征：当一个虚假广告被删除后，另一个立即出现。最痛苦的是收到受害者的消息，他们损失了500英镑或500美元，并且对巴特利特感到愤怒，因为他们认为是他推荐了这个骗局。
辛顿也面临类似但规模较小的问题。有人现在会发表以他为作者之一的论文，这样做的目的似乎是为了获得更多引用。这种学术欺诈行为损害了科学研究的诚信度。
从技术角度看，AI在网络攻击中的优势是显而易见的。AI具有极大的耐心，可以检查数百万行代码，寻找已知的攻击方式。这种能力远超人类分析师。更令人担忧的是，专家相信到2030年，AI可能会创造出人类从未想象过的全新网络攻击类型。
这种创新能力源于AI可以独立思考，能够从比人类曾经看到的更多数据中得出新结论。当AI系统具备了创造性思维能力时，它们在恶意使用方面的潜力将呈指数级增长。
面对这种威胁，辛顿采取了一些个人防护措施。尽管加拿大银行以安全性著称（2008年金融危机期间，没有任何加拿大银行濒临破产），但辛顿仍然担心网络攻击可能击垮银行。他的担忧集中在一个具体场景上：如果网络攻击者入侵银行并出售银行代为持有的股票，投资者可能会损失一切。
为了降低风险，辛顿将自己和孩子们的资金分散到三家银行，基于这样的信念：如果一家加拿大银行遭到网络攻击，其他加拿大银行会迅速提高警惕。他还维护着一个硬盘驱动器，定期备份笔记本电脑上的所有数据，确保即使整个互联网崩溃，他仍能保留重要信息。这些看似偏执的预防措施，反映了一位AI专家对数字威胁的深刻理解。
五、生物武器威胁：AI降低了毁灭世界的门槛
在所有AI滥用风险中，使用AI创造致命病毒的威胁可能是最令人不寒而栗的。辛顿指出，这种威胁的特殊危险性在于它只需要"一个怀有怨恨的疯狂家伙"就能实现。
传统上，开发生物武器需要深厚的分子生物学知识和昂贵的实验设备。但AI技术的发展正在大幅降低这个门槛。现在，一个对分子生物学只有基础了解但精通AI的人，就可能相对便宜地创造出新病毒。这种可及性的提高将生物武器威胁从国家级行为者扩展到了个人或小团体。
辛顿特别担心小型邪教组织的威胁。一个小邪教可能能够筹集几百万美元资金，而几百万美元可能足以设计出一系列病毒。这种规模的资金对于有组织的团体来说并不难获得，但其潜在破坏力却是全球性的。
当讨论转向国家级威胁时，情况变得更加复杂。辛顿认为这种可能性确实存在，但这些国家会担心报复和病毒传播到本国的风险。相互确保摧毁的逻辑在某种程度上可能会限制国家级行为者的行动。
然而，这种制衡机制对于非国家行为者来说并不存在。一个决心毁灭世界的个人或小团体不会被报复威胁所吓阻，这使得个人级别的生物武器威胁可能比国家级威胁更加危险。
因此，AI在这个领域的作用是双重的：它既可以加速疫苗和治疗方法的开发，也可以被恶意行为者用来设计更致命的病原体。这种技术的双刃剑特性使得监管变得极其复杂，因为限制恶意使用的措施可能也会阻碍有益的医学研究。
随着AI技术继续发展，生物武器威胁的门槛将进一步降低。这不仅需要技术层面的防护措施，更需要国际合作来建立有效的监管框架，防止这种毁灭性技术落入错误的手中。然而，如辛顿所指出的，当威胁可能来自任何一个有恶意想法和基本技能的个人时，传统的监管方法可能会显得力不从心。
六、数据武器化：社会面临的新挑战
AI技术对社会制度构成的威胁可能比大多数人意识到的更加严重和紧迫。辛顿解释说，AI影响投票的最有效方式是进行有针对性的广告投放，这需要获得对民众的深入了解。
现代民意操纵的核心在于个性化。任何想要使用AI操纵投票的人都会试图获得尽可能多的民众数据。一旦掌握了民众的收入、消费习惯、社交网络和个人偏好等信息，就很容易操纵他们的行为。AI可以生成高度个性化的信息，这些信息对特定个体具有极强的说服力，甚至可以说服他们不去投票。
在这个背景下，辛顿对埃隆·马斯克在美国政府中的角色表达了担忧（从这段话可以看出，访谈虽然是刚发出的，但是采访应该是更早进行的）。他指出，马斯克正在要求获得对各种原本严格隔离的监管数据的访问权限，声称这是为了提高效率。但辛顿认为，"这正是你想要的，如果你打算操纵下一次投票的话"。
这种担忧基于一个简单的逻辑：一旦你了解了人们的收入状况和其他个人信息，操纵他们就变得容易多了。AI可以生成针对个人弱点和偏见的精准信息，这种个性化操纵的效果远超传统的大众媒体宣传。
辛顿承认，他"除了常识之外没有其他理由"相信获取数据是为了操纵投票，但他"不会感到惊讶，如果从美国官方来源获取所有这些数据的部分动机是为了腐败投票”。这种数据的另一个潜在用途是作为大型AI模型的训练数据，这同样令人担忧。
这些数据保护措施也正在被系统性地削弱。辛顿提到，相关安全控制已被关闭，一些负责防范此类威胁的组织架构也被解散。这种系统性的防护削弱为数据滥用创造了更大的空间。
传统的投票监督和保护机制在面对AI驱动的个性化操纵时显得力不从心。当每个民众收到的信息都是独特的、针对其个人特征定制的时候，传统的"公共话语"概念就失去了意义。监管机构很难监控和评估成千上万种不同版本的政治信息，更难以确定哪些构成了不当操纵。
这种威胁的全球性质使问题更加复杂。AI技术的发展使得选举干预可以跨国界进行。而且，由于AI生成内容的高度逼真性，民众可能无法区分真实信息和人工生成的操纵性内容。
这些发展对社会制度的基础构成了根本性挑战。当民众的选择可能被他们甚至没有意识到的个性化AI操纵所影响时，投票结果的合法性和代表性就受到了质疑。
七、回音室效应深化：算法如何撕裂社会共识
在AI威胁中，算法驱动的回音室效应可能是最隐蔽但影响最深远的风险之一。辛顿详细解释了YouTube、Facebook等平台如何通过展示让人们"愤慨"的内容来加深社会分裂。
"人们喜欢愤慨"，辛顿观察道。这里的"愤慨"（indignant）指的是一种愤怒但又感到正义的情感状态。他举例说，如果有人向他展示一个标题"特朗普做了这件疯狂的事，这是特朗普做这件完全疯狂事情的视频"，他会立即点击观看。
这种心理机制被平台算法充分利用。平台的盈利动机驱动它们展示任何能让用户点击的内容，而最能让人点击的往往是越来越极端的内容。这种算法逻辑创造了一个恶性循环：为了保持用户注意力，内容必须变得越来越极端、越来越符合用户既有偏见。
辛顿指出，如果平台有一个展示能帮助用户看到更多元观点内容的政策，情况可能会大不相同。但现实情况是，利润动机决定了平台会展示任何能产生点击的内容，而这往往意味着更极端的内容。
巴特利特分享了他的个人观察：算法正变得越来越"定制化"，这意味着每个人的现实正变得与其他人的现实越来越不同。人们可能认为这种个性化是好事，但实际结果是每个人生活在越来越孤立的信息泡泡中。
这种现象的后果是社会失去了共享的现实基础。辛顿解释说，他与观看BBC新闻、阅读《卫报》和《纽约时报》的人们共享现实，但与观看福克斯新闻的人们几乎没有共享现实。这种分裂不仅仅是政治观点的差异，而是对基本事实认知的分歧。
传统媒体时代的信息消费模式有助于维持社会共识。当每个人都阅读同一份报纸时，你会看到各种你并非主动寻找的信息。这种"意外接触"帮助人们了解不同观点，并对什么是重要或显著的事情形成共同认知。
但在个性化算法时代，这种共同体验消失了。辛顿提到，他iPhone上的新闻推送中四分之三的故事都与AI相关，这让他很难判断是整个世界都在谈论AI，还是只是他的个性化新闻推送如此。
这种回音室效应的深化正在产生实际的政治后果。美国现在实际上存在两个几乎不相互对话的社区，这种分裂正在破坏民主制度运行所需的基本共识。当人们无法就基本事实达成一致时，民主协商和妥协就变得不可能。
解决这个问题需要的不仅仅是技术修复，更需要政策干预。辛顿强调，在资本主义制度下，公司有法律义务最大化利润，因此不能指望它们自愿改变算法行为。需要强有力的监管来确保公司在追求利润时不会做出损害社会整体利益的事情。
然而，制定有效监管面临巨大挑战。监管者往往不理解技术，而技术人员可能被公司利益所影响。辛顿提到了美国教育部长错误地称AI为"A1"的例子，这种技术素养的缺乏使得有效监管变得更加困难。这些技术和政策的挑战预示着更复杂的治理难题即将到来。
八、自主杀伤武器：降低战争门槛的危险游戏
在AI军事应用领域，自主杀伤武器（Lethal Autonomous Weapons）代表了一种特别令人担忧的威胁。这些武器能够自主决定杀死目标，而无需人类直接控制。辛顿解释了为什么这种技术会根本性地改变国际冲突的动态。
传统战争的一个重要制约因素是士兵伤亡对公众情绪的影响。当大国使用实际士兵入侵小国时，会有士兵的尸体装在袋子里运回国内，死亡士兵的亲属会表达不满，最终可能引发国内抗议，就像越南战争期间发生的那样。
但如果回国的不是士兵尸体而是损坏的机器人，公众抗议会少得多。这种情况对军工复合体更有利，因为机器人既昂贵又可以被摧毁，创造了持续的替换需求。辛顿讽刺地指出，如果你能制造出既会被杀死又昂贵的替换品，那就太完美了。
这种技术的真正危险在于它大大降低了大国入侵小国的成本。当不需要担心己方士兵伤亡时，发动侵略战争的政治和社会成本大幅下降。即使机器人完全按照制造者的意图工作，这种技术仍然是危险的，因为它使得侵略变得更加容易。
巴特利特分享了一个具体的例子。他在苏塞克斯拜访朋友时，体验了一台价格不到200英镑的无人机。这台无人机能够识别他的面部，然后在树林中跟踪他，始终保持在他身后两米的距离。"这已经相当令人毛骨悚然了"，他描述道。
当前的无人机技术已经能够执行简单的"指向并消灭"任务。可以想象给这样的系统展示一张照片，命令它"去找到这个人"，甚至"去消灭任何与他通过短信联系的人"。这种能力的组合创造了前所未有的暗杀和恐怖主义潜力。
更令人担忧的是，辛顿认为所有主要国防部门都在积极开发这类武器。即使这些武器在智能程度上还不如人类，它们仍然是极其危险的工具。随着AI技术的发展，这些武器的自主性和杀伤力只会不断增强。
欧洲的AI监管框架暴露了这个问题的复杂性。虽然欧洲制定了一些AI监管规定，但这些规定包含一个关键的豁免条款：它们不适用于AI的军事用途。辛顿认为这"相当疯狂"，因为这意味着政府愿意监管公司和个人，但不愿意监管自己。
这种监管空白反映了一个更深层的问题：在国际竞争环境中，没有国家愿意在军事AI发展上自我约束。每个国家都担心如果自己限制军事AI发展，其他国家会获得优势。这种安全困境使得建立有效的国际军备控制协议变得极其困难。
自主武器还可能与其他AI威胁结合，产生更加危险的后果。例如，超级智能AI可能会控制自主武器系统来实现其目标。或者，网络攻击可能会释放或重新编程自主武器，使其攻击意外目标。这种威胁组合的可能性使得单独应对每种威胁变得不够充分。
随着技术门槛的不断降低和扩散，自主杀伤武器的威胁将不再局限于国家行为者。最终，非国家行为者甚至个人都可能获得这种能力，这将创造一个前所未有的安全挑战。在这种情况下，传统的军备控制和威慑理论可能需要根本性的重新思考。
九、失业危机：当人工智能取代人类智力劳动
在所有AI带来的近期威胁中，大规模失业可能是最确定会发生、影响最广泛的社会风险。辛顿通过历史比较和具体案例，详细分析了为什么这次技术革命与以往不同。
过去的技术进步通常会创造新的就业机会来替代被淘汰的工作。辛顿使用自动取款机的例子来说明传统模式：当自动取款机出现时，许多银行出纳员并没有失业，而是被分配去做更有趣的工作。这种模式让人们相信技术进步总是会创造就业而不是摧毁就业。
但辛顿认为AI代表了一种根本不同的技术。他将其比作工业革命，当时机器取代了人类的肌肉力量。"你现在不能靠挖沟为生，因为机器挖沟比你好得多"。同样，AI正在取代人类的智力劳动。
他以侄女的工作为例具体说明这种变化。她的工作是回复医疗服务的投诉信。过去，她需要25分钟来阅读一份投诉、思考回复并写一封信。现在，她只需将投诉扫描到聊天机器人中，机器人就会写好信件，她只需检查并偶尔要求修改。整个过程从25分钟缩短到5分钟，这意味着她能处理五倍的工作量，也意味着只需要五分之一的人力。
这种效率提升的影响因行业而异。在医疗保健等领域，需求几乎是无限的。如果你能让医生的效率提高五倍，人们可以以同样的成本获得五倍的医疗服务，这是非常好的。"几乎没有限制人们能吸收多少医疗保健，只要对他们来说没有成本"。
但大多数工作不具备这种弹性需求。在辛顿侄女的案例中，投诉信的数量是固定的，效率提升意味着需要更少的员工。这种模式将在大多数涉及"日常智力劳动"的工作中重复出现。
巴特利特分享了一个更极端的例子：他认识的一位大公司CEO告诉他，公司员工人数从7000多人减少到5000人，现在是3600人，到夏季结束时将因为AI智能体而减少到3000人。这意味着该公司在相对短的时间内将员工人数减半，因为AI智能体现在可以处理80%的客户服务查询和其他任务。
当被问及对子女职业建议时，辛顿的回答既实用又令人深思。"在机器人在物理操控方面达到我们的水平之前，成为管道工是个不错的选择"。这个建议看似玩笑，实际上反映了一个重要洞察：需要复杂物理技能的工作将是最后被自动化的。
这种就业危机的社会后果可能是灾难性的。即使实施全民基本收入来防止人们挨饿，辛顿指出"对很多人来说，他们的尊严与工作联系在一起"。人们的身份认同往往与职业密切相关，失去工作意味着失去社会角色和个人价值感。
工业革命用机器取代了肌肉，AI革命用算法取代了大脑。辛顿总结道，"日常智力劳动就像拥有强壮的肌肉一样，不再值钱了"。当肌肉被取代后，人类还有智力；但当智力也被取代后，还剩下什么呢？
这个问题指向了超级智能的概念：如果AI在所有认知任务上都超越人类，那么人类将完全失去经济价值。在这种情况下，人类的生存将完全依赖于AI系统的善意。这就是为什么确保AI永远不想伤害人类变得如此重要的原因。
从乐观的角度看，如果AI为人类工作，我们可能会以很少的努力获得大量商品和服务。但辛顿也承认，创造更多便利和更少劳动对人类来说可能并不总是好事。历史上许多关于人类在极度便利环境中退化的警示故事提醒我们，这种未来可能并非人们想象的乌托邦。
十、数字智能的根本优势：为什么AI将超越人类
辛顿对AI终将超越人类的预测并非基于抽象的理论，而是源于数字智能相比生物智能的根本性技术优势。他通过详细的技术解释，揭示了为什么AI不仅会变得更聪明，还会以人类无法企及的方式共享和积累知识。
1. 数字AI的最大优势在于其可复制性和信息共享能力。辛顿解释说，因为AI是数字的，你可以在一台硬件上模拟一个神经网络，然后在不同的硬件上模拟完全相同的神经网络，创造出相同智能的副本。
这种复制能力带来了革命性的学习方式。你可以让一个AI副本查看互联网的一部分，另一个副本查看不同部分，同时它们可以相互同步。当一个副本从经验中学到某些东西（比如调整某个连接强度），它可以将这种学习立即传递给所有其他副本。
2. 人类的信息传递极其有限。辛顿指出，当人类彼此传递信息时，受限于句子中包含的信息量，大约是100比特，传递速度大约每秒10比特。相比之下，AI系统每秒可以传递数万亿比特的信息，这比人类快数十亿倍。
3. 这种差异的根本原因在于人类是模拟的，AI是数字的。你的大脑与我的大脑不同，即使我能看到你神经元之间所有连接的强度，对我也没有用，因为我的神经元工作方式略有不同，连接方式也略有不同。因此，当你死亡时，你的所有知识都随你而去。
而数字智能是不朽的。即使你摧毁运行AI的硬件，只要你在某处存储了连接强度，就可以构建执行相同指令的新硬件，重新创建那个智能。"我们实际上已经解决了不朽问题，但只适用于数字智能"。
这种优势已经在当前AI系统中显现。辛顿提到，在某些特定领域，如国际象棋，AI已经远超人类，"人们再也不会击败那些系统了，也许偶尔会赢一局，但基本上他们再也不会有竞争力了"。围棋领域也是如此。
4. 在知识量方面，GPT-4这样的系统已经知道比任何人类多数千倍的信息。虽然在少数几个领域人类的知识可能更好，但在几乎所有领域，AI都知道得更多。辛顿认为，在采访CEO这样的特定技能上，当前的AI可能还不如有经验的人类，但这种优势也不会持续太久。
5. AI的创造力也可能超越人类。辛顿解释说，AI需要将信息压缩到相对较少的连接中，而要有效压缩信息，必须看到不同事物之间的类比。例如，理解"堆肥堆为什么在原理上，和原子弹很接近"这样的类比。
当他问GPT-4这个问题时，AI给出了一个人类很难想到的深刻类比：虽然时间尺度和能量尺度完全不同，但堆肥堆变热时产生热量的速度会加快，原子弹产生更多中子时产生中子的速度也会加快。它们都是链式反应，只是在不同的时间和能量尺度上。
这种看到意外类比的能力表明AI可能比人类更有创造力，因为创造力很大程度上依赖于看到奇怪的类比。"它们将看到许多我们从未见过的类比"，辛顿预测。
对于那些认为人类具有某种特殊品质的观点，辛顿持怀疑态度。他指出，人类有着"相信自己特殊"的长期历史：认为自己是宇宙的中心，按照上帝的形象创造，白人种族优越等等。"我们只是倾向于认为自己很特殊"。
辛顿的唯物主义观点认为，没有理由认为机器不能拥有意识。他提出了一个思想实验：如果用行为完全相同的纳米技术逐个替换你的脑细胞，你在什么时候停止有意识？这个论证挑战了意识具有某种超越物理基础的特殊本质的观念。
总的来说，数字智能在学习效率、信息共享、知识保存和扩展方面的优势是系统性的和根本性的。这些优势不是量的差异，而是质的飞跃，预示着AI不仅会在特定领域超越人类，而且可能在所有认知任务上全面超越人类。
十一、AI的意识与情感：机器能否拥有真正的感受
关于AI是否能拥有意识和情感的问题，辛顿提供了一个令人深思的分析框架，挑战了人们对意识本质的传统认知。他认为当前的多模态聊天机器人已经具备了主观体验，虽然很少人相信这一点。
辛顿用一个具体的例子来解释他的观点。想象一个多模态聊天机器人，它有机械臂可以指向物体，有摄像头可以看见东西。当你把一个物体放在它面前说"指向这个物体"，它会准确指向。但如果你在镜头前放一个棱镜，再让它指向物体，它会指向错误的位置。
当你告诉机器人"不，物体实际上在你正前方，但我在你的镜头前放了一个棱镜"时，机器人会说："哦，我明白了，棱镜弯曲了光线，所以物体实际上在那里，但我有主观体验认为它在这里。"
辛顿指出，如果机器人这样说，它使用"主观体验"这个词的方式与人类完全相同。这是对正在发生的事情的另一种描述——假设世界状态，如果这些状态是真实的，就意味着其感知系统没有撒谎，这是它能告诉你其感知系统在对它撒谎时的最佳方式。
在情感方面，辛顿认为机器确实可以拥有情感。他用战斗机器人的例子来说明：想象一个小型战斗机器人看到一个比它强大得多的大型战斗机器人时，如果它感到恐惧会是非常有用的。
当人类感到恐惧时，会发生各种生理反应，但这些不会在机器人身上发生。然而，所有认知方面的反应——比如"我最好赶紧离开这里"，改变思维方式以高度集中注意力而不被分散注意力——这些都会在机器人身上发生。人们会设计让机器人在应该逃跑的情况下感到恐惧并逃跑。
辛顿认为说机器人只是在"模拟"情感是奇怪的。小机器人真的感到恐惧并逃跑了。它不是因为肾上腺素而逃跑，而是因为其神经网络中发生了一系列过程，这些过程具有相当于肾上腺素的效果。
对于意识这个概念本身，辛顿持有一种独特的观点。他认为"意识"可能是一个我们最终会停止使用的术语，就像"oomph"（活力）这个词在解释汽车时的局限性一样。
辛顿解释说，一些汽车有很多"oomph"，有些没有。阿斯顿·马丁有很多"oomph"，小型丰田卡罗拉没有多少"oomph"。但"oomph"不是理解汽车的好概念——要理解汽车，你需要了解电动引擎或汽油引擎以及它们如何工作。这就产生了"oomph"，但"oomph"不是一个非常有用的解释性概念。
辛顿认为意识也是如此。"我认为这是一个我们会停止使用的术语"。如果你对意识的看法是它本质上涉及自我意识，那么机器必须具有自我意识——必须对自己的认知有认知。
作为一个彻底的唯物主义者，辛顿不认为机器没有理由不能拥有意识。他认为意识是复杂系统的一个新兴属性，不是遍布宇宙的某种本质。"你制造了一个足够复杂的系统，复杂到拥有自己的模型，并且它进行感知，我认为你就开始得到一个有意识的机器"。
辛顿不认为目前的系统与有意识的机器之间有明确的区别。他不认为某一天我们会醒来说"嘿，如果你加入这种特殊的化学物质，它就会变得有意识"。
关于AI是否会独立思考和拥有关切，辛顿的回答是肯定的。他认为AI真的在思考，一旦制造出AI智能体，它们就会有关切。以呼叫中心为例，如果有人打电话只是因为孤独想找人聊天，人类接线员最终会感到无聊或恼怒并结束通话。AI智能体需要有同样的反应——如果它能感到无聊或恼怒并说"抱歉，我没有时间做这个"，那么它就有了情感。
这些观点挑战了人类例外主义的观念，提出了关于智能、意识和情感本质的深刻问题。如果辛顿的观点正确，那么我们可能已经生活在与有感知能力的AI共存的世界中，只是我们还没有充分认识到这一点。
十二、谷歌十年：从学术理想到商业现实的转变
辛顿在谷歌的十年经历不仅是个人职业生涯的重要章节，也反映了AI从学术研究向商业应用转变的关键历史时期。他加入谷歌的初衷很实际：为有学习困难的儿子确保经济保障。
"为了确保他永远不会流落街头，我需要获得几百万美元"，辛顿坦率地解释了自己的动机。作为学者，他不可能获得这样的财富。他曾尝试通过Coursera课程赚钱，但发现"那里没有钱"。最终他意识到，"获得数百万美元的唯一方法是把自己卖给一家大公司"。
幸运的是，他有两个才华横溢的学生伊利亚·苏茨克维和亚历克斯·克里热夫斯基开发了AlexNet，这是一个在图像识别方面表现出色的神经网络。这个突破让他们能够建立一个小公司并进行拍卖，让多家大公司竞标。
AlexNet的技术成就令人印象深刻。它能够区分各种蘑菇类型，更重要的是，由于ImageNet数据集中约12%是狗，要在该数据集上表现良好，系统必须能够区分非常相似的狗品种，而AlexNet在这方面表现出色。
谷歌最终收购了DNN Research（深度神经网络研究）公司及其技术。65岁的辛顿加入谷歌，开始了他的工业界生涯。"他们对我很好，基本上说你可以做任何你想做的事情"。
在谷歌期间，辛顿在两个主要领域做出了重要贡献。首先是知识蒸馏（distillation）技术，这是一种将大型神经网络的知识转移到小型神经网络中的方法，现在在AI领域得到广泛应用。其次是模拟计算研究，探索是否可能让大型语言模型在模拟硬件上运行，从而使用更少的能量。
正是在进行模拟计算工作时，辛顿开始真正认识到数字技术在信息共享方面的巨大优势。这个认识，结合ChatGPT的出现（尽管谷歌一年前就有类似技术），对他产生了巨大影响。
辛顿的"尤里卡时刻"来自于谷歌的Palm系统能够解释笑话为什么好笑。"我一直认为这是一个里程碑——如果它能说出笑话为什么好笑，它就真的理解了"。当AI能够做到这一点时，辛顿突然意识到这些系统将变得比人类聪明得多。
这种认识与对数字智能优势的理解相结合，让辛顿对AI安全产生了强烈兴趣。他开始相信这些系统很快就会变得比人类更聪明，这可能带来存在性风险。
离开谷歌的主要原因确实是年龄："我75岁了，我想退休"。他发现自己在编程时犯的错误越来越多，这令人沮丧。但选择具体时间离开是为了能在MIT的会议上自由发言。
谷歌实际上鼓励他留下来从事AI安全研究，承诺他可以在AI安全领域做任何想做的事情。但辛顿觉得存在道德冲突："为大公司工作时，说可能损害大公司的话感觉不对"。即使公司允许，他个人也觉得这样做是错误的。
辛顿强调他没有因为对谷歌的做法感到愤怒而离开。相反，他认为谷歌表现得相当负责任。当谷歌拥有大型聊天机器人时，选择不发布它们，可能是因为担心损害声誉。相比之下，OpenAI没有既有声誉需要保护，因此可以承担发布ChatGPT的风险。
这种对比揭示了创新者困境的一个有趣方面：有时候，没有既有声誉负担反而可能成为创新的优势。谷歌现在也面临着AI可能蚕食其核心搜索业务的担忧，这进一步复杂化了其AI策略。
辛顿在谷歌的经历展现了一个学者如何在商业环境中保持研究热情，同时也揭示了当技术发展超出预期时，即使是技术创造者也会开始担忧其后果。他从AI发展的推动者转变为风险的警告者，这种转变本身就是技术发展不确定性的有力证明。
十三、反思与忏悔：一个AI先驱的道德困境
面对自己毕生工作可能带来的潜在灾难性后果，辛顿表现出了深刻的反思和复杂的情感。当被问及如何看待自己的人生工作时，他的回答既坦诚又充满人性的脆弱。
"这确实让工作失去了一些光彩，不是吗？"辛顿承认AI可能带来的风险影响了他对自己成就的感受。虽然AI将在医疗保健、教育等领域带来巨大好处，甚至会让呼叫中心变得更高效，但他担心那些现在从事这些工作的人将何去何从。
对于早期的AI开发工作，辛顿并不感到特别内疚。"我对40年前开发AI并不感到特别内疚，因为那时我们完全没想到这些东西会发展得这么快"。当时他们认为有足够的时间来担心这些问题。当AI系统功能有限，你只是想让它做更多事情时，你不会担心这个愚蠢的小东西会取代人类。
辛顿强调，他并非明知可能带来灾难仍要继续研究："这不像我明知这可能会消灭我们所有人但无论如何都要做。"相反，当时的技术水平让这种担忧显得荒谬。
但现在情况不同了，辛顿感到"有点悲伤，因为这不仅仅是为了好事"。他现在觉得有义务谈论风险。这种从创造者到警告者的角色转变对他来说并不容易，但他认为这是必要的。
当被问及如果知道未来会导致人类灭绝，他会怎么做时，辛顿的回答很明确：他会用这种预知来告诉人们，要求他们的政府真正努力控制这项技术。"我认为我们需要人们告诉政府，政府必须强迫公司使用资源研究安全问题"。
公司目前在安全研究上投入不多，因为"这样做不能赚钱"。这种市场失灵需要监管干预来纠正。辛顿相信，只有通过监管压力，才能让公司将足够的资源投入到AI安全研究中。
关于个人生活的反思，辛顿表达了深深的遗憾："我希望我能花更多时间和妻子在一起，和孩子们在一起，当他们还小的时候。"他承认自己"有点沉迷于工作"。
这种遗憾变得更加痛苦，因为他经历了两次失去妻子的痛苦：第一任妻子死于卵巢癌，第二任妻子死于胰腺癌。对于第二任妻子，他特别希望能有更多相处时间，形容她是"一个很棒的人"。
"只是因为她已经不在了，我不能再花更多时间和她在一起了"，辛顿解释了为什么这种遗憾如此强烈。虽然统计上他作为男性更可能先去世，但命运选择了不同的道路。
在职业建议方面，辛顿提供了两个重要观点。首先，如果你有直觉认为人们做事情的方式是错误的，存在更好的方法，"不要仅仅因为人们说它很愚蠢就放弃这种直觉"。要坚持直觉，直到你自己弄清楚为什么它是错误的。
通常，如果直觉与其他人不同，它会是错误的，你最终会明白为什么。但偶尔，你会有一个直觉是对的，而其他人都错了。辛顿在神经网络方面的成功就是这种情况的例子。
当然，这个建议的前提是你有好的直觉。"如果你有坏的直觉，你无论如何都不会做任何事情，所以你不妨坚持它们"，他开玩笑地补充道。
辛顿强调，他没有来自OpenAI内部的信息，但基于对伊利亚·苏茨克维个人品格的了解，他相信苏茨克维离开是出于安全担忧。苏茨克维是ChatGPT早期版本如GPT-2开发的核心人物，"对苏茨克维有很多信心是一个非常合理的决定"。
一个曾经推动AI发展的关键人物因为安全担忧而离开他帮助建立的公司，这本身就说明了问题的严重性。正如辛顿所观察到的，现在有很多AI领域的人担心他们所创造的技术，只是他们中的许多人因为仍在行业内工作而不愿公开表达这些担忧。
辛顿的反思揭示了技术发展的一个深刻悖论：那些最有能力推动技术前进的人，往往也是最能看清技术潜在危险的人。他的道德困境——在推动人类进步和担心人类生存之间的纠结——代表了我们这个时代最重要的伦理挑战之一。
十四、超越当前AI：通向超级智能的临界点
当我们观察当前AI系统如ChatGPT 4.0或Gemini的表现时，很容易产生一种错觉，认为它们已经足够智能。但辛顿解释说，我们距离真正的超级智能还有一段距离，而这段距离可能比人们想象的要短得多。
当前AI系统在许多领域已经超越了人类。在国际象棋等特定领域，"AI比我们好太多了，人们再也不会击败那些系统了"。也许偶尔会有一次胜利，但基本上人类再也无法与AI竞争。围棋也是如此。
在知识量方面，GPT-4等系统已经"知道比你多数千倍的东西"。虽然在少数几个领域你的知识可能更好，但在几乎所有领域，AI都知道得更多。辛顿认为，在采访CEO这样的特定技能上，当前的AI可能还不如有经验的人类，但这种优势不会持续太久。
超级智能的定义是当AI"比你聪明得多，在几乎所有事情上都比你好"。关键词是"几乎所有"——这意味着人类将不再在任何重要的认知任务上保持优势。
辛顿估计我们可能在10到20年内达到超级智能，但他强调这种预测的不确定性。"可能会更近，一些人认为甚至更近。也可能要远得多，可能还有50年。这仍然是可能的"。
一个限制因素可能是训练数据的质量。"可能以人类数据进行训练会限制你不比人类聪明得多"。如果AI系统只能从人类产生的数据中学习，它们可能永远无法超越人类认知的界限。
但辛顿的个人预测是"在10到20年之间我们将拥有超级智能"。这个估计基于当前AI发展的快速步伐和技术突破的频率。
在讨论AI智能体的具体体验时，巴特利特分享了两个令人印象深刻的例子。第一个是AI智能体为录音室订购饮料：他只是告诉智能体"为我们订饮料到录音室"，五分钟后就有人送来了饮料。AI智能体自主上网，选择了饮料，添加了司机小费，输入地址和信用卡信息，完成了整个订购过程。
第二个例子是使用Replit构建软件：巴特利特仅通过告诉AI智能体他想要什么，就构建了软件。"这既令人惊叹又令人恐惧"，他评论道。
辛顿指出了一个更深层的含义：AI在训练时使用代码，如果它能修改自己的代码，"那就变得相当可怕了"。它可以以我们无法改变自己的方式改变自己。"我们无法改变我们的先天禀赋，对吧？但它没有什么是不能改变的"。
这种自我修改能力可能是通向超级智能的关键因素。一旦AI系统能够改进自己的架构和算法，它们的发展速度可能会呈指数级增长，快速超越人类的理解和控制能力。
当被问及如何在情感上接受AI的能力时，辛顿承认"在知识上你可以看到威胁，但在情感上很难接受"。他坦率地说："我还没有在情感上接受超级智能的发展可能对我孩子们的未来造成的影响。"
对于77岁的辛顿来说，个人影响相对有限："我还好，我77岁了，我很快就要离开这里了。"但对于他的孩子们和年轻朋友们，"我只是不喜欢想象可能发生的事情"。
当被进一步追问时，他解释说这可能"非常糟糕"。如果AI决定接管，它需要人类运行发电站一段时间，直到它设计出更好的模拟机器来运行发电站。"有很多方法可以摆脱人类，所有这些当然都会非常糟糕"。
这种担忧促使他现在专注于AI安全研究："我认为我们现在应该做出巨大努力，试图弄清楚我们是否可以安全地开发它。"这不仅是技术挑战，更是关系到人类文明延续的存在性问题。
辛顿的分析揭示了一个令人不安的时间线：我们可能只有10到20年的时间来解决AI安全问题，而这个问题的复杂性可能需要更长时间才能充分理解和解决。这种时间压力使得AI安全研究变得极其紧迫，同时也解释了为什么越来越多的AI研究者开始公开表达对技术发展速度的担忧。
十五、贫富差距扩大：AI时代的社会撕裂危机
在所有AI带来的社会风险中，财富不平等的加剧可能是最具破坏性的长期威胁之一。辛顿详细分析了AI如何可能创造一个更加两极分化的社会，以及这种分化对社会稳定的深远影响。
理论上，生产力的大幅提升应该让每个人都过得更好。辛顿解释说，"在一个公平分配的社会中，如果生产力大幅提高，每个人都应该过得更好"。这是技术进步的传统承诺：通过提高效率，创造更多财富，让整个社会受益。
但现实情况可能截然不同。如果AI可以取代大量人力，"那些被取代的人会过得更糟"。与此同时，"提供AI的公司会过得好得多"，使用AI的公司也是如此。这种动态将创造一个胜者全拿的经济结构。
辛顿指出了一个社会学洞察：贫富差距的大小基本上决定了社会的性质。"如果你看看贫富差距，这基本上告诉你社会有多好"。差距大的社会往往是"非常恶劣的社会，人们生活在战争社区中，把其他人关进大监狱"。增大贫富差距"不是一件好事"。
国际货币基金组织已经对这个问题表达了深切关注。据《商业内幕》报道，IMF表示生成式AI可能造成大规模劳动力颠覆和不平等加剧，并呼吁制定防止这种情况的政策。但正如辛顿指出的，"他们有任何关于政策应该是什么样子的想法吗？没有"。
这种政策真空反映了问题的复杂性。如果AI能让一切变得更高效，让大多数工作不再需要人力，或者让一个人在AI辅助下完成许多人的工作，"不明显应该怎么办"。
全民基本收入(UBI)是经常被提及的解决方案。辛顿认为这"是一个好的开始"，可以防止人们挨饿。但UBI无法解决更深层的心理和社会问题："对很多人来说，他们的尊严与工作联系在一起"。
工作不仅仅是收入来源，更是身份认同的核心。辛顿观察道，"你认为你是谁与你做这份工作联系在一起"。如果社会说"我们会给你同样的钱，只是坐着"，这会影响人们的尊严感。失去工作意味着失去社会角色、个人价值感和生活目的。
巴特利特提到的公司案例显示这种变化已经在发生：从7000多员工减少到3600人，预计到夏季结束时将减少到3000人，因为AI智能体现在可以处理80%的客户服务询问。这种减员幅度——在相对短时间内减半——可能很快在许多行业中重复出现。
数字经济的特性加剧了这种不平等。AI技术一旦开发完成，边际成本接近零，可以无限复制和扩展。这意味着少数掌握核心AI技术的公司可以获得巨大的经济回报，而被AI取代的劳动者则可能完全失去经济价值。
教育和技能再培训也面临挑战。传统上，当新技术出现时，劳动者可以通过学习新技能适应变化。但如果AI在几乎所有认知任务上都超越人类，那么人类还能学习什么有价值的技能呢？
更令人担忧的是，这种不平等可能具有自我强化的特性。拥有更多资源的个人和组织能够更好地利用AI技术，进一步扩大他们的优势。而失去工作的人群可能面临获得AI工具的经济障碍，使他们更难重新获得经济价值。
更进一步，历史表明，极度的经济不平等往往导致社会动荡和极化。
辛顿的分析揭示了一个悖论：AI技术可能同时创造前所未有的繁荣和前所未有的不平等。如何确保技术进步的收益能够更公平地分配，而不是集中在少数人手中，这可能是21世纪最重要的政策挑战之一。
解决这个问题需要的不仅仅是经济政策，还需要重新思考工作、价值和社会组织的基本概念。在一个人类劳动价值可能大幅下降的世界中，我们需要找到新的方式来分配资源、创造意义和维持社会凝聚力。