小语言模型的营销说辞几乎已经成了一种本能反应。AI太贵？太慢？太冒险？那就试试更小的模型。
去年，Gartner预测到2027年，企业运行专用、特定任务模型的数量将达到通用大语言模型的约三倍。这一转变已经体现在企业预算中：今年7月，Gartner预测仅2026年一年，针对特定领域的专用AI模型支出将增长210%，增速是基础模型的两倍多。
然而，那些正在生产环境中运行小语言模型（SLM），或者正在尝试这样做的CIO们，描述的现实情况要复杂得多。小语言模型确实能带来效率提升，但未必达到预期水平，而且会产生一些在上线后才会显现的成本。
数学账目真正划算的地方
"企业对小语言模型的采用已经从试点阶段转向主流架构，增长正在加速，"普华永道旗下Protiviti企业数据分析与AI总监Ameet Ubhayaker表示。他补充说，他并没有看到大模型被全面替代的情况，而是看到一种正在形成的分层架构：小模型用于路由、分类和结构化输出，前沿模型则留给模糊、多步骤的任务。
曾任Aptos零售科技公司CIO的Jason James，此前在本地硬件（而非云端）上运行三到四个专用模型作为原型，目的是衡量本地运行的成本和投入，是否能超过他们为前沿模型支付的Token成本。
"这其实就是一道数学题，"James说。"实施成本是多少？运行成本是多少？使用量又是多少？如果这些成本都明显低于本地运行的成本，那才值得考虑。如果只是略低一点，那又何必折腾呢？"
尽管James最近已离开Aptos，转任Acumatica的CIO，但当时的数据确实倾向于支持小模型，足以让Aptos继续推进这些试点项目。但他指出，这些小语言模型并不是要取代他的Aptos团队已经在使用的前沿工具，而是在避免他所称的"Token破产"——即由于模型选择和提示词使用不当，未经充分培训的用户在几周内就耗尽了一年的Token预算——的同时，给了他更多的选择。
据Ubhayaker介绍，在那些存在真实数据边界或合规要求的环境中，像分类、路由或结构化提取这类范围狭窄、可重复、可验证的任务，正是小语言模型大放异彩的地方。
"这并不意味着小语言模型正在取代前沿模型，"他说。"最终的目标是分层架构，而不是整体迁移。"
当数据戳破商业案例
这种区别正是Eric Pace用亲身经历所领悟到的教训。Pace最近离开了一家企业的IT领导职位，如今为企业的AI部署提供咨询服务。他描述了团队部署的一个经过微调的小型Llama模型，用于策划营销信息。该模型在标记为"好"或"坏"的历史数据上进行训练。测试表现看起来不错。投产路径既快速又低成本——快到出乎意料。但后来，在测试阶段看起来可靠的数据，在生产规模下却站不住脚。
"我们最终把它撤下来了，"他说。
Pace补充说，他仍然认为小语言模型能节省时间，模型漂移和版本管理在合理预算范围内都是可控的。但他现在认为，对于经过微调的小语言模型来说，数据质量问题比通用AI应用要严重得多。
"不仅需要确保数据集能代表你想要输入模型的内容，还必须找到那条界限，"他说。"过拟合是真实存在的问题。"他的建议是：把任务范围控制得紧凑而具体，为回溯测试做好规划，不要低估IT以外团队所需投入的业务知识和数据治理工作。
Ubhayaker此前也见过这种情况，一些公司用公开基准测试而非自身的生产流量和数据来评估小语言模型。
"企业还应该优化的是每次成功任务的成本，而不仅仅是每个Token的成本，"他说。"一个较小的模型看起来可能更便宜，但重试、人工审核以及升级到更大模型所产生的成本，可能很快就会抵消那些节省下来的费用。"
谁来负责这一整套模型？
即便某个小语言模型表现良好，同时运行多个这样的模型也会带来一种不同类型的管理负担。James用实际情况做了说明：当一个工作流程要经过多个专用模型时，追溯故障会变得更加困难，因为现在的故障排查意味着要在多个模型负责人之间来回沟通，才能找出问题究竟出在哪个环节、是谁的责任。
Ubhayaker表示，每个专用模型都需要进行自身的评估和监控，以捕捉行为漂移，而一整套这样的模型会在路由、升级和溯源方面增加复杂性。基础模型的更新和下游的微调都需要重新训练和重新进行基准测试。根据他的经验，更大的风险在于一种"信心与成熟度的差距"：管理层以为监控政策正在被执行，但遥测数据却常常显示情况并非如此，尤其是当各团队部署专用模型的速度快于组织编目和治理这些模型的能力时。
拒绝二元对立
这些都不意味着小语言模型天生就是糟糕的选择。它们只是需要比许多人预期的更多前期尽职调查。模型成本并不等于总成本。James表示，在计算任何节省的费用之前，必须把治理、管理开销和培训成本都纳入预算。
Ubhayaker表示，某项任务究竟适合用小模型还是大语言模型来处理，应该根据每个具体用例来判断。决定因素应该包括：该任务是否范围明确、可验证；企业是否具备维护该模型所需的工程能力；以及较小的模型是否真的能达到所需的准确度——而不仅仅是看哪种架构在纸面上更便宜。小语言模型的价值是有条件的，取决于具体任务、数据状况，以及模型上线后由谁来负责后续的一切。
贵公司在运行小语言模型方面学到了哪些经验？欢迎与我们分享。
