机器学习模型即便经过多轮迭代改进，也不会对基准测试出现过拟合，这与教科书中的预测相矛盾——按照传统理论，反复针对同一份保留数据进行评估，理应导致过拟合现象的产生。
针对机器学习研究智能体开展的实验表明，那些成功的策略具有高度可压缩性。当把一个表现成功的智能体所采用的策略压缩通过一个信息瓶颈（最少仅需 16 个 Token）之后，一个没有任何记忆的全新智能体依然能够复现出原智能体的表现水平，这说明该策略捕捉到的是真实存在的结构规律，而非对数据的死记硬背。
压缩为解释这一现象、并作为诊断工具提供了思路。那些真正存在过拟合问题的策略，往往无法通过压缩测试——一旦经过信息瓶颈的压缩传递，它们在验证集上所取得的那些针对性优势便会消失不见。
大语言模型是强大的压缩解码器。由于其内部承载着海量的世界知识，它们能够依据简洁、专业化的提示词，重新构建出完整的机器学习流程，这为理解大语言模型为何具备如此强大的能力，提供了一条具体而清晰的思路。
Q&A
Q1：机器学习研究智能体为什么不会出现过拟合？
A：实验表明，成功的策略具有高度可压缩性。将策略压缩通过信息瓶颈后，没有记忆的全新智能体依然能复现原有表现，说明策略捕捉到的是真实结构，而非对数据的死记硬背，因此不会出现传统意义上的过拟合。
Q2：如何判断一个策略是否真的存在过拟合？
A：可以通过压缩测试来判断。真正过拟合的策略在经过信息瓶颈压缩后，其在验证集上获得的针对性优势会消失，而真正有效的策略则能在压缩后依然保持原有表现。
Q3：大语言模型为什么能从简短提示词中重建完整流程？
A：因为大语言模型内部承载着海量的世界知识，即便面对简洁、专业化的提示词，也能依靠这些知识储备重新构建出完整的机器学习流程，这也是理解其强大能力的一个具体角度。
Amazon Science
