机器学习模型通过人类标注的样本来学习识别周围世界。这一过程的基础假设是：标注者在开始工作前，脑海中已经对类别有了清晰、稳定的定义。当模型训练的是客观类别（比如停车标志或金毛猎犬）时，这一假设是成立的，因为这些类别的边界清晰且被普遍认可。但在实际应用中，视觉系统往往需要应对人类经验中主观的“模糊地带”。例如，训练一个视觉分类器来识别“健康食品”、筛选“富有灵感的艺术作品”，或协助内容审核。在这些领域，类别边界并非普遍适用或一成不变，它们可能随文化背景、个人理念或不断演变的运营政策而变化。此外，人们在面对主观概念时，即便在自己脑海中，也很少一开始就拥有完整的定义。相反，他们通常先有一个直觉性的概念，只有在接触到真实案例后，才逐渐发现概念真正的边界、例外情况和细微差别。传统的训练流程并未考虑到这种概念演变过程，这迫使用户即便自己的心理模型仍在变化，也必须向AI系统提供固定不变的标签。
为弥合这一差距，我们推出了“敏捷协商”（Agile Deliberation）框架，将主观AI分类器的构建过程视为一场迭代式对话。该框架不再要求人类扮演静态数据标注者的角色，而是将AI系统转变为协作伙伴，帮助用户“协商”并完善自己的定义。通过优先解决人类的模糊性问题，该框架能够系统性地构建出更有效、更稳健、更契合用户意图的AI系统。为支持更广泛的研究社区，我们已在GitHub上开源了底层代码和算法。
这项工作的一个关键特点是聚焦于真实的用户体验。由于标准的静态AI基准测试无法捕捉主观概念，我们没有采用模拟测试，而是通过18场1.5小时的真人实时会话来评估“敏捷协商”框架。这使我们能够直接观察和衡量人在与智能系统互动时，其意图是如何动态演变的。我们发现，“敏捷协商”通过用对边界案例图像的直接反馈取代人工提示词工程，大幅降低了用户的疲劳感和焦虑感，从而构建出更一致、性能更优的AI模型，其表现超越了标准基准方法。
工作原理：协商的两个阶段
“敏捷协商”将定义主观概念这一复杂任务拆分为两个结构化阶段：概念界定和概念迭代。这两个阶段共同将一个模糊的想法转化为高度精确的、可供AI模型使用的指令蓝图。
“敏捷协商”工作流程。该框架将一个宽泛的目标概念分解为“范围内”定义（即分类器应识别并标记为符合用户意图的正例）和“范围外”定义（即用户希望分类器不要标记的明确负面边界或“误报”），随后检索边界案例图像以揭示棘手情形，并将人类反馈导入自动提示词优化循环，从而生成可直接使用的图像分类器。
面对诸如“健康食品”这样宽泛的主题时，人类的直觉天然难以事先列出所有规则。在概念界定阶段，系统引导用户将其整体概念拆解为结构化的子概念层级以及明确的排除项。
例如，用户可以不使用单一的宽泛标签，而是将“健康食品”分解为“沙拉”“谷物碗”“瘦肉蛋白”等正向子类别。与此同时，他们还可以定义明确的排除项，例如“加工食品”或“未经加工的生食材”。这就建立起一个初始的结构化基线，为模型的理解提供依据。
在建立初始结构之后，该框架从静态规划转向主动测试。传统机器学习假设人类标注者是一个“先知”，事先已经拥有一套完整的规则定义。而“敏捷协商”颠覆了这一前提，转而聚焦于协作式的优化完善。
该阶段的灵感来自主动学习（active learning）——这是一种传统上用于检索信息量大的数据点、以最大化机器训练效率的方法。然而，与主动学习纯粹为了最小化机器不确定性而挑选样本不同，“敏捷协商”利用视觉-语言模型（VLM）主动挖掘并呈现那些对当前文本定义构成挑战的、语义上处于边界地带的图像。
例如，系统可能会呈现一张水果奶昔的图片，来挑战“健康饮食”这一概念，迫使用户做出判断：这是一种因含有新鲜水果而属于健康饮品，还是因糖分过高而应被归为排除在外的加工食品？
面对这些模糊的边界情形，促使用户反思自己隐藏的假设，厘清真实意图，并相应更新规则政策。随后，这些人类反馈会直接导入自动提示词优化循环，确保VLM的分类边界能随着用户不断细化的定义同步调整。
实验
评估主观视觉分类器面临一个根本性挑战：不存在静态的、客观的基准真相（ground truth）可供对比衡量性能，因此，基于预先标注数据集的离线评估无法衡量该框架在协商过程中、随着人的概念心理模型发生变化时，适应能力究竟如何。
为捕捉这种动态变化，我们构建了一个功能原型，并通过真实用户研究对其进行评估。我们开展了18场真人实时会话，每场持续1.5小时，参与者按随机顺序与我们的系统及其他基准方法进行互动，以避免学习偏差。
我们选择了两个复杂且高度主观的领域来测试这些系统的极限：
我们将“敏捷协商”与三种常见的不同范式进行了对比评估：
结果
真实用户会话结果表明，“敏捷协商”不仅能产出性能更优的分类器模型，还能大幅改善用户体验。
我们发现，经历过结构化协商流程的研究参与者，其标注一致性随时间推移显著提高。通过提前解决边界模糊性问题，他们构建出的分类器大幅超越了所有标准基准方法。这些性能提升在最具挑战性的主观图像上表现得最为显著——而这恰恰是传统分类器通常表现不佳的领域，因为它们依赖的是默认的、通用的AI假设，而非用户明确、细致入微的意图。
专家参与者反馈称，该系统是一种有效的诊断工具。通过有意呈现令人困惑的边界图像，AI系统帮助他们发现初始定义中的“盲点”——揭示出一些他们直到看到模糊的真实案例才意识到的情形。
各任务中的分类器性能提升情况。在“付费参与”和“健康食品”两个评估组中，“敏捷协商”框架相较于零样本基准方法均取得了稳定的性能提升，而人工协商方法往往无法提升、甚至会降低分类器的准确性。
我们真实用户研究的一个关键发现是人工提示词工程带来的认知负担。研究表明，用户在人工概念协商过程中，试图预测可能揭示边界情形的搜索词时，会经历明显的认知疲劳。此外，他们还反映，在手动调整文本提示词以修正某个错误时，始终担心这可能会无意间损害分类器其他已修正部分的性能，由此产生持续的焦虑感。
用户体验与认知负荷指标。与传统的人工提示词工程相比，使用“敏捷协商”的参与者反映所需付出的努力和压力在统计上显著降低，同时心理负担更轻，感知到的成功率和易用性更高。
“敏捷协商”通过承担繁重的计算工作来缓解这种摩擦。用户无需成为提示词工程师，他们只需查看经过筛选的边界图像集，并给出自然的反馈。系统会自动吸收他们的意图，并相应更新底层模型。
因此，使用“敏捷协商”的参与者反映压力更小、挫败感更低、心理消耗更少，所有参与者都表示更偏好“敏捷协商”而非人工方法。
结论
从根本上说，“敏捷协商”将“人在回路”机器学习的范式，从单向的——即AI系统仅从人类标签中学习——转变为双向协作，人类与AI共同完善概念。
随着机器学习系统日益被部署用于处理复杂的现实社会任务，确保其边界能够反映细致入微的主观概念变得至关重要。无论是帮助信任与安全团队构建更安全的内容审核过滤器，协助策展人塑造数字馆藏，还是辅助科学家对复杂视觉数据进行分类，“敏捷协商”都为人类与AI的对齐提供了一个基础框架。
若想深入了解底层主动学习技术，以及我们界定与聚类算法的技术实现细节，请阅读我们的论文，并查看GitHub上的开源实现。若想快速上手，请参考我们的交互式Colab/Jupyter演示，了解本文中展示的“健康食品”示例。在此基础上，你可以将其应用到任何你具备专业知识的领域（例如识别误导性的标题党内容），或用它围绕你个人的主观品味和标准构建个性化分类器（例如筛选“富有灵感的艺术作品”）。
致谢
感谢我们的合作者——Wei Qiao、Thomas Denby、Krishnamurthy Viswanathan、Enming Luo、Chun-Ta Lu、Tushar Dogra、Ranjay Krishna 以及 Ariel Fuxman——他们为这项工作及相关论文提供了宝贵的见解和贡献。这项研究得益于谷歌研究院（Google Research）与谷歌广告（Google Ads）之间的紧密合作。
