关于每项任务最适合何种规模、形态和体量的模型，这场争论短期内不会消失。无服务器推理服务商Featherless现已加入这场讨论。该公司发布了Simple Jev，这是一个开源库，能将开源AI模型转化为高速、零样本分类引擎。
本月早些时候，Featherless发布了闭源纯文本版的TypeSafe Jev，而Simple Jev则在此基础上将结构化决策功能扩展至开源模型，并在Featherless托管端点上提供图像处理能力。该工具能让应用程序评估输入数据并返回分类结果或二元选择，而无需生成对话式文本。
不要用坦克送披萨
Featherless首席执行官兼联合创始人尤金·齐亚（Eugene Cheah）向The New Stack表示，使用前沿大模型来处理类似支持工单分类这样的任务，就工具过度配置而言，“就像用坦克送披萨”。
齐亚说：“当然，披萨坦克最终也能送到，但速度慢、成本高，而且根本不是合适的工具。企业需要的是即时响应的敏捷能力，而这正是业界长期以来忽视的另一种AI形态。”
Featherless托管的Simple Jev端点还为决策流程提供视觉支持。目前该功能仅适用于Gemma或Qwen模型，让开发团队能够将图像作为上下文进行即时分类。通过绕过对话式文本生成，该软件降低了延迟并减少了计算资源消耗。
“披萨坦克最终也能送到，但速度慢、成本高，而且根本不是合适的工具。”
Featherless对多模态视觉支持的立场十分明确。齐亚承认大型闭源模型也能完成这些任务，但他坚持认为“这是用错了工具”，因为这些模型是通过“数万亿参数的庞大大语言模型”生成文本来实现的，开发者显然要为这种服务支付前沿模型的高昂价格。
齐亚解释道：“业界一直过度关注大语言模型的规模，却很少回过头来思考成本和效率问题。Simple Jev从不‘生成’答案：我们在模型即将做出选择的那一刻就让它停下，读取其对每个允许选项的评分，然后输出概率。”
什么是零样本分类引擎？
对不了解的人来说，零样本引擎利用预训练语言模型，无需针对特定任务的训练数据，就能将输入内容分类到未见过的目标类别中。由于零样本引擎对未经明确训练的输入进行分类，它依靠迁移学习来预测新输入的类别，而无需事先接触过这些类别。
“但分类器并不是新事物，这是ChatGPT出现之前大学里教授AI课程时就有的内容。真正新的地方（这要归功于Jev）在于一个设计精良的零样本API。核心部件早已存在，我们对此也很熟悉，这就是为什么我们能这么快就把它搭建起来。旧事物又焕发新生，”齐亚兴奋地说。
在说明团队如何构建这项新工具时，齐亚认为：“任何即将毕业的AI/ML博士，只凭一句话描述就能重新实现Simple Jev。”
“他们会实现一个‘共享前缀、两阶段、仅预填充、基于对数概率的分类器’来完成这个任务。我们将其开源，是为了让它更容易被复制、效率更高，我预计未来会出现数百个开源的Jev克隆版本，”齐亚补充道。
“任何即将毕业的AI/ML博士，只凭一句话就能重新实现Simple Jev。我预计会出现数百个开源的Jev克隆版本。”
Featherless还推出了免费公共端点，该公司表示这将让开发者无需API密钥或登录即可测试分类模型（演示版本上限为2000个token的上下文，每秒两次请求）。在生产环境使用方面，Simple Jev的定价为每百万输入token 0.03美元起，输出token免费，相比之下TypeSafe的Jev每百万输入token收费0.042美元。这是一个可能上涨的测试期底价，而Featherless自身的产品列表显示，其基于Qwen的分类器每百万输入token定价为0.28至0.30美元。那么这究竟算贵，还是像Little Caesars披萨优惠一样便宜？
齐亚详细解释道：“从字面意义上说，这几乎便宜到无需计量。假设对一张图像或一段文字进行典型分类决策大约需要500到1200个token，那么按每百万token 0.03美元计算，你为一次决策支付的费用大约是百分之三分钱。换个角度看，这相当于每百万次决策花费约15至35美元。而且输出还是免费的。”
告别单一通用模型
Featherless呼吁业界告别其所称的“单一通用模型”，并推出了最新工具，宣称未来将由数以百万计的轻量级专用模型驱动。
齐亚补充道：“一开始他们说开源模型永远赶不上。后来他们说开源只在个别场景中获胜。很快他们就会说闭源模型只在个别场景中获胜。”
正如这位Featherless首席执行官所承认的，分类器并不是什么新鲜事物。作为模型工具工程的一个子类别，其他零样本视觉和多模态分类技术已经存在了一段时间。
其他在零样本领域发挥作用的模型
OpenAI的CLIP于2021年初首次推出，可以说是零样本图像分类领域早期的开源先驱。该模型通过自然语言监督学习视觉概念，并可应用于任何视觉分类基准测试。
微软的Florence-2于2024年夏季发布，是一款开放权重的视觉语言基础模型。该模型旨在克服“空间层次结构和语义粒度”方面的复杂性，据称非常适合零样本和微调任务，包括视觉目标检测、定位与分割以及图像描述生成。该领域其他竞争者还包括专注于零样本视觉标注和目标分类的Roboflow和Mixpeek。
齐亚总结道：“这个领域里的每个人都是站在他人肩膀上前行，开源的运作方式正是如此。CLIP和其他类似工具都是改变了行业格局的优秀工具。我们正在用当下的模型重新带回一个旧理念，因为有时候你并不需要坦克，你需要的是一些小巧而快速的东西。”
Simple Jev现已作为完全开源的库在GitHub上发布。Featherless表示，该工具为开发者提供了专门的模型蒸馏工作流程（即将大型前沿模型的能力转移到更小、更高效的架构中的过程），可以将复杂提示词和决策从大型前沿模型压缩至更小、更高效的开源模型中，以供生产环境使用。
Q&A
Q1：Simple Jev是什么？它能做什么？
A：Simple Jev是Featherless公司发布的开源库，能将开源AI模型转化为高速零样本分类引擎，让应用程序评估输入数据并返回分类结果或二元选择，而无需生成对话式文本，从而降低延迟并减少计算资源消耗。
Q2：Simple Jev的使用成本大概是多少？
A：按每百万输入token 0.03美元计算，一次典型的图像或文本分类决策大约需要500到1200个token，成本约为百分之三分钱，相当于每百万次决策花费约15至35美元，输出token完全免费。
Q3：为什么说用大模型做分类任务就像用坦克送披萨？
A：因为大型闭源模型需要通过数万亿参数的庞大结构生成文本来完成分类任务，速度慢、成本高，是对工具资源的过度配置，不适合处理像工单分类这类简单任务，Simple Jev这类轻量级专用分类引擎才是更合适的选择。
