当多个大语言模型评委给出相同判断时，这种一致性究竟意味着什么？一项新研究指出，如果这些评委来自同一模型家族、共享训练数据或使用相似提示词，它们的"一致"很可能只是共同偏差的体现，而非真正的独立验证。
该研究引入了一种基于伊辛模型的标签聚合方法，将评委面板视为网络结构，在建模每位评委可靠性的同时，对评委之间的两两依赖关系进行显式建模。这一方法的核心优势在于：无需人工参考标签，即可在无监督环境下区分"独立证据"与"共同错误"。
在相关性分类、毒性检测和摘要质量评估三项任务中，使用10名评委的面板时，该方法相比加权多数投票基线实现了9%至14%的准确率提升。
对于实际部署大语言模型评判流程的团队，研究给出了以下实践建议：用统计方法评估评委面板的多样性；检查一致性聚类模式；在报告置信度时纳入评委相关性的修正，而非简单地将所有投票等同对待。
Q&A
Q1：伊辛模型在大语言模型评判中是如何发挥作用的？
A：伊辛模型原本是物理学中描述粒子相互作用的统计模型。在这项研究中，它被用来对评委之间的两两依赖关系进行建模——将评委面板视为一个网络，每对评委之间的关联强度都被显式估计。这样就能区分哪些一致意见来自独立判断，哪些只是因为评委共享训练背景而产生的"抱团"偏差，从而更准确地聚合最终标签。
Q2：为什么来自同一模型家族的大语言模型评委会产生问题？
A：来自同一模型家族的评委往往共享训练数据、架构偏好或提示词模板，导致它们在面对相同输入时倾向于犯同样的错误。表面上看，多个评委意见一致似乎增强了可信度，但实际上这种一致可能只是系统性偏差的重复，而非真正的独立验证。研究表明，忽视这种相关性会高估评判结果的可靠性。
Q3：如何在实际项目中评估大语言模型评委面板的多样性？
A：研究建议从三个维度入手：一是用统计方法量化评委之间的相关性，识别高度相似的评委组合；二是检查一致性聚类模式，看哪些评委总是同进退；三是在报告最终置信度时，对评委相关性进行修正，而非直接累加投票数。选择评委时应优先考虑不同模型家族、不同训练来源的组合，以提升面板的实质多样性。
