英伟达周四宣布为其 Nemotron 系列新增几款产品:面向企业智能体的120亿参数视觉语言模型 Nemotron 3.5 Super VL,以及两款用于本地运行编程、研究和对话任务的小型 Bolt 模型(Nemotron 3.5 Bolt 74B-A9B 24GB 版本和 Nemotron 3.5 Bolt E4B 4GB 版本)。

英伟达表示,Bolt 模型旨在"在笔记本电脑上运行日常智能体任务,在速度与智能之间取得平衡,以应对多步推理、工具调用和网页浏览等需求"。

尽管这三款模型的规模和适用场景各不相同,但它们都将速度与效率作为核心重点。

其中两款较大的模型已于今日开放使用,而较小的 Bolt E4B 4GB 模型将在近期推出。

Nemotron 3.5 Super VL

本次发布的旗舰产品是 Nemotron 3.5 Super VL,这是一款拥有1200亿参数的模型,将推理与工具使用能力同图像及文档理解能力相结合。

在发布公告中,英伟达负责开放模型与软件的副总裁卡里·布里斯基指出,这款大模型旨在"在多模态智能体任务——包括指令遵循、工具使用、多步业务流程以及视觉理解方面提供领先的准确性,其表现可与英伟达规模最大的推理模型相媲美,而参数量仅为后者的五分之一左右"。

Super VL 基于今年3月发布的 Nemotron 3 Super 构建而成。两者总参数量均为1200亿,推理时激活参数均为120亿,上下文窗口均可达100万 Token。但与此前仅支持文本输入的模型不同,Super VL 现已新增对图像和视频输入的支持(但不支持相应的输出)。

与通义千问的对比结果喜忧参半

不过,在基准测试方面,尤其是与规模相近的其他开放模型相比,结果呈现出喜忧参半的态势。

在英伟达自身的评估中,Super VL 在科学推理和终端任务方面的表现优于阿里巴巴的 Qwen3.5-122B-A10B(通义千问),但在 SWE-bench Verified 测试和文档理解方面的得分略低。

这五项测试分别是 GPQA-Diamond、Terminal-Bench 2.1、SWE-bench Verified、IFBench 以及 MMLongBench-Doc。Super VL 在 Terminal-Bench 测试中得分为66.7,而 Qwen3.5 的得分为48.7,但在 SWE-bench Verified 测试中以71.1的得分落后于 Qwen3.5 的71.9分。

通义千问总参数量为1220亿,激活参数为100亿,而 Super VL 的总参数量为1200亿,激活参数为120亿。更新版本的 Qwen3.8-Flash-Next 在所有五项测试中得分均更高,不过由于其附加的嵌入和预测组件,其总参数量达到约1800亿。

Thinking Machines 公司的 Inkling-Small 总参数量为2760亿,激活参数为120亿。该模型在终端任务上的表现也落后于 Super VL,但在指令遵循方面得分更高。

英伟达还报告称,Super VL 在 Hermes Bench 和 LangChain 行为评估测试中均领先于 Ultra 模型,前者得分分别为63.44%对56.33%,后者得分分别为87.05%对84.3%。

但总体而言,此次发布的重点显然在于速度。

英伟达报告称,在四块 B200 GPU 上完成10000个 SWE-bench Pro 任务的速度提升了四倍,不过其图表显示该模型的准确率低于 Qwen3.8-Flash-Next 和 DeepSeek V4 Flash。

混合 Mamba 架构,解码速度更快

关于英伟达如何构建该模型,值得注意的是,Nemotron 系列仍沿用了3.5家族的混合架构,该架构将 Mamba-2、注意力机制以及混合专家层相结合——但此次新增了一个视觉编码器。根据其模型说明文档,英伟达还继续通过 Nemotron 3 Ultra 对该语言模型进行蒸馏训练,随后针对软件工程、视觉及智能体任务进行了进一步训练。

为加快文本生成速度,英伟达还使用了一种名为 LiLiCorr 的投机解码技术。借助该技术,一个较小的辅助模型会提前起草多个 Token,随后由 Super VL 对这些 Token 进行整体核验,而非逐一生成每个 Token。英伟达表示,与不采用投机解码的方式相比,该技术能将 DGX Spark 上的 Token 生成速度提升至多2.3倍。

在文档处理工作流方面,英伟达表示 Super VL 的重点在于光学字符识别、表格、图表以及结构化信息处理。

在图表推理基准测试 CharXiv 中,英伟达报告的准确率为80.8%,而 Nano Omni 的准确率为63%。借助 Python 代码解释功能,Super VL 的测试结果提升至84%。

Bolt 模型实现24GB运行740亿参数

如果你对运行本地模型感兴趣,那么此次发布的新款 Bolt 模型可能是其中最值得关注的产品——其基准测试表现往往优于大多数同类规模的模型。

Nemotron 3.5 Bolt 74B-A9B 24GB 版本衍生自 Super VL。该模型采用混合专家架构,在740亿总参数中,每次激活90亿参数。

在英伟达的测试中,Bolt 在 Terminal-Bench 2.1测试中得分为51.0,而采用 BF16精度测试的 Qwen3.6-35B-A3B 得分为44.4,Gemma4 26B-A4B 得分为37.2。Bolt 则采用了混合精度,其中包括二位专家层。

为实现这一规模,英伟达采用二位量化技术,将这款740亿参数模型的内存占用压缩至24GB。该公司表示,正在针对 RTX Spark 和 DGX Spark 系统对该模型进行优化,并支持 llama.cpp、Ollama、LM Studio 以及 vLLM 等工具。

该模型的第二个、规模更小的版本——Nemotron 3.5 Bolt E4B 4GB 版本,计划于本月晚些时候推出。借助这款模型,英伟达的目标是瞄准 GeForce RTX、Jetson 以及 Spark 硬件上的对话类与物理类智能体,包括需要进行多轮工具调用并感知应用程序状态的设备助手及交互式角色等应用场景。

可用性

目前,这些新模型已在 Hugging Face 平台开放下载,遵循 OpenMDW 1.1许可协议,该协议允许商业使用及修改。

The New Stack