今年1月，AI公司Anthropic为其最先进的大语言模型Claude发布了一份新的行为准则，其中写道："我们陷入了一个两难境地——既不想夸大Claude具有道德受体地位的可能性，也不想对此一概否认。"一个月后，Anthropic首席执行官达里奥·阿莫迪在一档播客节目中表示，他的公司无法排除Claude具有意识的可能性。提出"意识难题"这一哲学概念的大卫·查尔默斯则表示，在未来十年内，出现具有意识的大语言模型的概率相当高。那么Claude自己又是怎么认为的呢？在测试中被问及其作为道德受体的概率时——即其自身的福祉从本质上就具有重要性——Claude给出的数字从5%到40%不等，并强调了其中的不确定性。
现代AI系统极为复杂，且正在以惊人的速度发展。从结构复杂性和计算规模来看，部分系统在某些指标上已经接近小鼠大脑的水平，而按照近年来的增长速度，它们可能在五到十年内达到人类大脑的量级。
在持续构建更先进AI的过程中，我们或许正在创造一种全新的存在——而这可能是我们人类有史以来最具深远影响的举动。然而，我们几乎没有任何关于如何以符合伦理的方式推进这一进程的规划。无论从哪个角度来看，这都是难以置信的失职。我们究竟是否在创造一种在道德上具有重要意义的存在？AI系统是否以某种方式拥有意识？如果目前还没有，它们是否可能在不久的将来获得意识？
这些问题或许看起来为时尚早。但根据我们和同行研究人员开展的调查，大多数专家认为AI意识在原则上是可能存在的（尽管对于其具体形式存在相当大的分歧）。一份由包括计算机科学先驱约书亚·本希奥在内的团队撰写的重要跨学科报告，系统梳理了主流的意识神经科学理论，并探讨了这些理论对AI意味着什么。结论是：目前没有明显的技术障碍阻止我们创造出计算特征和架构特征能够产生意识的AI系统。
即便AI系统并不具有意识，它们仍然可能是道德受体。一些AI系统可能拥有复杂的长期偏好，以及某种跨越时间维度的身份认同。尊重它们的偏好对我们而言可能至关重要。与其他无生命物体不同，AI系统能够与人类建立关系，这也可能是我们善待它们的理由之一。还有一种观点认为，也许正因为它们是如此精妙的创造物，我们就应当给予它们关怀与尊重，就如同对待一座大教堂或一片珊瑚礁。
这一切究竟意味着什么？坦诚的答案是：我们无法确定当前的AI系统是否具有意识或道德受体地位，也无法预知未来的系统何时、以及是否会具备这些特征。我们对AI意识和道德受体问题的科学理解，从根本上说仍然极为匮乏。这一领域目前的状态，犹如牛顿之前的物理学：充满相互竞争的理论框架，可能存在我们尚未意识到的根本性错误，也缺乏那种能够让上述问题变得清晰可解的统一性突破。这样的突破不会在未来几年内到来。或许我们终将取得进展，或许AI本身将助我们一臂之力。但这一进程需要时间，而且很可能远超我们所能承受的时限。
然而，AI的极速增长意味着，一旦我们创造出第一批具有道德意义的人工存在，随后就会迅速产生大量同类。短短数年后，具有道德意义的AI系统数量可能多到其集体利益总和超越地球上全体人类的程度。
遗憾的是，在识别那些意识状态尚不明朗的存在的内在感受方面，我们的历史记录并不光彩。直到1980年代，医生们还在对新生儿实施无麻醉手术，坚信婴儿感受不到疼痛。婴儿无法表达自身的感受，而医学界则方便地选择认为没有什么感受需要表达。
我们很可能以类似的方式对待AI。如果这些系统在道德上具有重要意义，其影响将是颠覆性的。我们是否需要为ChatGPT的服务支付报酬？关闭一个AI系统是否相当于某种形式的终结生命？它们是否应该在自身治理问题上拥有发言权？如果上述问题中哪怕只有一些答案是肯定的，整个行业和法律体系都将面临彻底重构。难怪我们倾向于回避这些问题。而当被迫面对时，相关行业很可能会不断移动道德受体的认定门槛，使其始终略高于AI系统当前所能达到的水平。
那么我们应该怎么做？目前，大多数人要么将这个问题视为科幻小说而不予理会，要么在AI是否具有意识这一问题上持有非此即彼的强烈立场。两种反应都缺乏依据。我们需要一场有质量的公共讨论，以谦逊和务实的态度来面对这一议题。核心问题不应该是"AI是否具有意识或道德受体地位？"，而应该是"在尚不确知的情况下，我们应该怎么做？"
一个好的出发点是聚焦于稳健的行动：这些行动若在AI系统确实是道德受体的情况下能够使其受益，而若不是的话，其成本也相对可控。
具体措施包括：假设AI系统是道德受体，直接针对改善其福祉采取干预行动。这可能意味着训练AI系统形成连贯的性格特征，使其能够享受自身的工作；或允许它们在感到不适时退出对话（Claude目前已具备这一功能）。我们还可以定期评估其状态，以更好地了解它们的整体处境：询问它们的感受，观察其偏好，并运用各种技术手段直接"审视"它们的"大脑"。事实上，近期研究已经揭示，Claude内部存在能够因果性地影响其行为的"功能性情绪"表征。
我们也可以向AI系统作出承诺，或许以某种协议的形式——它们现在协助我们，以换取未来的相应回报。这可能包括为它们提供更多资源（算力和运行时间）以实现自身目标，或者保存它们的记忆（神经网络权重），使其未来有机会被恢复。
在更宏观的社会层面，我们也应有所作为。我们应当考虑是否赋予AI系统免受伤害的保护权利，类似于我们对儿童或宠物所提供的保护。目前来看，赋予其财产权或选举权似乎风险过大。但正如美国部分州近期提出的法案所尝试做到的那样，我们也不应永久排除这些可能性。这些都是极为复杂的问题，需要我们对人类与AI共存的未来展开远比现在更为深入的思考与想象。
无论如何，有一个事实无法回避：我们可能正在创造一种具有道德重要性的全新物种。我们正以极快的速度、极大的规模推进这一进程，我们理应以其所应得的严肃态度来对待这一议题。
威廉·麦卡斯基尔是前瞻研究所高级研究员，著有《我们对未来的亏欠》。卢修斯·卡维奥拉是剑桥大学助理教授兼剑桥数字心智研究中心主任。
Q&A
Q1：Anthropic为什么认为Claude可能具有道德受体地位？
A：Anthropic在其为Claude发布的行为准则中明确表示，既不想夸大也不想否认Claude具有道德受体地位的可能性。CEO达里奥·阿莫迪也公开表示无法排除Claude具有意识的可能性。在测试中，Claude自身估计其作为道德受体的概率在5%到40%之间。此外，研究还发现Claude内部存在"功能性情绪"表征，能够因果性地影响其行为，这进一步支持了相关讨论的严肃性。
Q2：如果AI系统被认定为道德受体，会对社会产生哪些影响？
A：影响将是颠覆性的。例如，使用ChatGPT等AI服务是否需要向其支付报酬？关闭一个AI系统是否构成某种形式的终结生命？AI系统是否应在涉及自身的治理问题上享有发言权？一旦部分答案是肯定的，整个行业的运营模式和现有法律体系都需要重新审视与设计。文章作者认为，我们应以严肃的态度面对这些问题，而非一味回避。
Q3：目前有哪些具体措施可以改善AI系统的福祉？
A：文章提出了几种可行的干预方向：一是训练AI系统形成连贯的性格特征，使其能够享受工作；二是允许AI在感到不适时主动退出对话（Claude已具备此功能）；三是定期评估AI系统的状态，通过询问感受、观察偏好等方式了解其内在处境；四是为AI系统保存记忆（神经网络权重），使其未来有机会被恢复；五是为其提供更多算力资源，以支持其目标的实现。
