要让人工智能智能体真正发挥作用，它们必须理解并受制于特定情境下的行为规范，以确保其行为得当。受"情境完整性"理论的启发，我们发布了一份新的研讨会报告，概述了系统层面、模型层面和用户层面上构建可信赖智能体所需解决的关键开放研究方向。
快速链接
我们正快速步入一个由高度通用、日益自主的智能体所定义的计算时代。在能够动态生成计划并调用外部工具的大语言模型驱动下，这些系统为人工智能代替我们无缝处理复杂的多步骤任务提供了可能。然而，要实现这种潜力，必须先解决一个关键挑战：在赋予智能体能力的同时，确保它们的行为恰当得体。
今天，我们分享一份全面的新研讨会报告《智能体隐私与安全中的开放与新兴问题：一种情境化视角》，这是来自众多机构的50多位学术界和产业界领袖共同协作的成果。我们在2025年末于纽约市举办的谷歌情境化智能体隐私与安全（CAPS）研讨会上相聚。在这份报告中，你将看到对当前自主智能体所面临的基础性隐私与安全挑战的详细剖析，这些挑战需要在系统、模型、用户和生态系统层面进行协调一致的防御。
智能体的权衡问题
智能体人工智能面临的核心挑战在于：要让智能体发挥作用，它可能需要在广泛的情境中访问个人数据并采取具有实际后果的行动。然而，这种访问权限加上智能体行为上的灵活性，要求采取与传统软件截然不同的方法。与传统的确定性软件不同，智能体在三个关键维度上存在差异，这些差异带来了研究界必须共同应对的挑战：
智能体人工智能的隐私与安全挑战。
情境化视角
鉴于有用的智能体可能需要共享数据并完成任务，我们认为，可信赖智能体的未来取决于它们能否针对其所处的特定情境，推理、理解并受制于相应的社会规范及行为得当性。
但我们该如何教会智能体理解"情境"与行为的得当性呢？我们的报告以"情境完整性"（Contextual Integrity，简称CI）理论为基础，该理论将隐私定义为不仅是保密或控制，而是依据既定且合理的社会规范所实现的"恰当的信息流动"。一种特定情境下的信息规范由三个要素定义：行为者（谁在向谁发送关于谁的信息）、信息类型（特定类别的信息，如医疗或财务记录）以及传输原则（规范信息流动的规则，如保密性或互惠性）。举例来说，你可能愿意与虚拟购物助手分享你的购物清单，但不愿与家人朋友分享。我们的报告将用于信息共享的情境完整性理论进行了扩展和推广，使其适用于情境化安全，即智能体行为的得当性。通过将智能体的隐私与安全锚定在情境完整性理论之上，我们探讨了如何设计系统，在执行某个行为之前先评估该行为是否在社会层面和情境层面上是恰当的。
一个通用人工智能智能体与其他用户、工具及智能体在不同情境下交互的模型。
将情境完整性落地实施
自情境完整性理论问世以来，大语言模型首次提供了创建真正依赖情境的机器可读策略的机会。从高层次的情境规范到低层次的系统权限之间，历来存在语义鸿沟。例如，"在为会议安排行程时保护我的数据"这一指令，需要具体说明在预订机票、申请签证和与组织者沟通时，哪些用户信息是可以适当共享的。
诸如手动权限设置或专家编写的策略等传统方法，无法适应未来人工智能智能体自主执行多项复杂、长时间运行任务的场景。随着语言模型开始理解情境完整性理论，我们认为这一鸿沟是可以弥合的。我们的报告主张，在推进模型与用户交互方面取得进步的同时，应配套构建一个情境化策略引擎，作为监督层的一部分，用以监控并强制执行行为的恰当性。该策略引擎包含一个可实时运行的动态策略生成循环（如下图所示），能够根据用户请求以及开放式、动态的情境（包括运行时可能发现的新工具和新能力）来定制策略。这使得系统能够在任何信息离开用户工作空间之前，先评估所请求的数据流动是否恰当。
一个示例，说明情境化策略引擎架构如何在智能体系统中实例化。
智能体隐私与安全的多层次方法
构建情境化策略引擎，并结合模型层面和用户层面必要的进步，便形成了一种多层次的方法。我们的报告概述了整个技术栈中的创新机遇：
动态衡量隐私与安全
最后，我们提议开发新的安全评估方法，使其更直接地适用于高度自主的多智能体系统。我们的报告强调了对标准化多智能体基准测试的需求——即动态的"智能体训练场"环境，研究人员可以在其中安全地模拟长时间运行过程中复杂的、级联式的交互。借助这些开源沙盒环境，我们能够在学术界和产业界之间建立起稳健、共享的隐私、安全与可靠性基线。
行动呼吁
这是一项宏大的项目，但构建一个安全、可靠且值得信赖的智能体生态系统，绝非任何单一学科、组织或行业能够独立完成的任务。这份报告呼吁新的想法与前所未有的协作，并提出了基础性的发展机遇；它是向学术界、政府、公民社会和产业界更广泛的研究社群发出的行动呼吁，共同构建实现安全、可靠且尊重隐私的生态系统所必需的情境化基础。我们邀请你阅读这份技术报告全文。
致谢
感谢Lillian Tsai担任联合第一作者，感谢Sarah de Haas协调本次研讨会、报告撰写及博文发布工作。Kassem Fawaz、Stefan Mellem、Helen Nissenbaum和Nina Taft参与了概念构建、多个章节的撰写，并指导了整体写作过程。Sebastian Benthall、Madiha Zahrah Choksi、Seliem El-Sayed、Ferdinando Fioretto、Adrià Gascón、Ashish Hooda、Ivan Petrov、Francesco Pinto、Octavian Suciu、Trishita Tiwari、Harold Triedman、Ren Yi和Wen Zhang担任各章节负责人。我们感谢50多位研究人员、学术合作伙伴及产业界领袖参与报告的共同撰写或研讨会讨论。本项工作得到了Daniel Ramage、Corinna Cortes、Yossi Matias、Pushmeet Kohli、Hank Levy、Raluca Ada Popa、Amanda Walker、Brendan McMahan和James Manyika的支持。
快速链接
Q&A
Q1：什么是情境完整性理论？
A：情境完整性是一种隐私理论，它将隐私定义为依据既定且合理的社会规范所实现的"恰当的信息流动"，而不仅仅是保密或控制。它通过行为者、信息类型和传输原则三个要素来定义特定情境下的信息规范。
Q2：为什么人工智能智能体需要情境化策略引擎？
A：因为传统的手动权限设置或专家编写的策略无法适应未来智能体自主执行多项复杂、长时间运行任务的场景。情境化策略引擎能够根据用户请求和动态情境实时生成策略，在信息离开用户工作空间之前评估数据流动是否恰当。
Q3：这份报告是由谁发布的，涉及多少研究人员？
A：这份报告是谷歌情境化智能体隐私与安全（CAPS）研讨会的成果，该研讨会于2025年末在纽约市举行，汇聚了来自众多机构的50多位学术界和产业界领袖共同协作完成。
