OpenAI于本周二发布了GPT-6.1 Sol,这是其主力模型的最新版本,距离GPT-6 Sol的发布仅一周时间。

该公司将新模型描述为"GPT-6 Sol的升级版,在智能体编程、计算机操作和专业工作方面的智能水平几乎与GPT-6 Astra相当,而输入输出Token的标准价格仅为Astra的五分之一"。

价格不变,性能逼近Astra

GPT-6.1 Sol的定价与之前保持一致,每百万输入Token为2美元,每百万输出Token为10美元,缓存输入价格大幅优惠至每百万Token仅0.10美元。

GPT-6.1 Sol现已在API中上线,同时面向ChatGPT Work和Codex中的所有Plus、Pro、Business、Enterprise及Edu用户开放。不过目前该模型尚未在Chat中提供。

一项新功能是,GPT-6.1 Sol在Codex中还将推出超快速版本,其Token生成速度比标准速度快达8倍。

尽管其前代产品仅发布一周,但新模型展现出显著提升。在OpenAI发布前提供的几乎所有基准测试中,新模型的表现与OpenAI成本高昂的旗舰模型GPT-6 Astra相近,但成本却大幅降低。

例如,在编程基准测试中,GPT-6.1 Sol在DeepSWE 1.1上的得分比GPT-6 Sol高6.4个百分点,其结果基本与GPT-6 Astra持平——但成本仅为后者的五分之一。

在一些基准测试中,新的Sol模型甚至击败了Anthropic与GPT-6 Sol同日发布的Opus 5.5(含回退机制)。例如在测试模型如何回答复杂PDF文档相关问题的GDP.pdf基准测试中,GPT-6.1 Sol得分约为32%,而Opus 5.5约为29%。在这一测试中,其结果也与GPT-6 Astra相似,但每项任务成本约为后者的五分之一。

GPT-6.1 Sol表现尤为出色的一个领域是计算机操作。在该项测试中,新模型在最高推理强度下的表现比前代产品高出七个百分点,成本却只有一半——同样与Astra的表现相当。

事实上,鉴于这些结果,在大多数使用场景下将很难为使用Astra找到理由。

对阵Sonnet 5.5:结果参半

遗憾的是,周一发布的Sonnet 5.5(定价同样为每百万输入输出Token2美元/10美元)目前只有少量可比较的基准测试数据。在两个模型都存在基准数据的情况下,结果呈现参半态势。

Sonnet 5.5在DeepSWE上得分71%,而GPT-6.1 Sol得分约为75%。在AutomationBench测试中,GPT-6.1 Sol得分约为36%,低于Sonnet 5.5的44.7%,但Sol每项任务的价格明显更低(0.30美元对比1.14美元)。

错误更少,对齐度更佳

OpenAI还表示,GPT-6.1 Sol产生的事实性错误更少。在低推理强度下,包含至少一个事实错误的回复比例从GPT-6 Sol的11.4%降至7.7%,降幅约为32%。

这些结果来自于用户曾标记出早期模型错误的刻意设置的高难度对话场景,并不代表典型使用情况下的错误率。

鉴于我们(在性能上)尚未完全追平前沿水平,很高兴看到GPT-6.1 Sol让Sol的对齐水平与Astra保持一致。OpenAI表示,该模型总体上能更好地尊重用户意图和安全限制,仅在2.1%的情况下未能披露搜索工具故障(而非擅自猜测结果)。

在该公司的测试中,基于GPT-6.1 Sol的智能体从未尝试绕过自动化安全审查员阻止其智能体运行的决定。

Q&A

Q1:GPT-6.1 Sol相比GPT-6 Sol有哪些提升?

A:GPT-6.1 Sol在智能体编程、计算机操作等方面的性能大幅提升,几乎达到旗舰模型GPT-6 Astra的水平,但价格仅为Astra的五分之一,同时事实性错误率也从11.4%降至7.7%。

Q2:GPT-6.1 Sol的价格是多少?

A:GPT-6.1 Sol价格与之前版本保持一致,每百万输入Token为2美元,每百万输出Token为10美元,缓存输入价格优惠至每百万Token仅0.10美元。

Q3:GPT-6.1 Sol现在可以在哪里使用?

A:GPT-6.1 Sol已在API中上线,同时面向ChatGPT Work和Codex中的Plus、Pro、Business、Enterprise及Edu用户开放,但目前尚未在普通Chat界面提供。

The New Stack