始终在线的智能体正承担着越来越长、越来越复杂的企业工作流程。单一请求可能涉及阅读文档、跨来源核查信息、遵循公司政策以及调用多个工具。
NVIDIA Nemotron 3.5 Super VL 是一款开放、可定制的多模态模型，专为这些专业化工作流程设计。其1200亿参数的混合专家（MoE）架构每个Token激活120亿参数，在模型能力与推理效率之间取得平衡。
在单个GPU上，该模型在智能体任务中的吞吐量比同尺寸类别的其他开放模型高出最多5倍。
该模型将推理、指令遵循和工具使用与文本、图像、文档及视频理解相结合。通过将这些能力整合到一个模型中，团队无需部署独立的文本模型和视觉语言模型，也无需在它们之间传递任务上下文，即可同时处理文本和视觉任务。
开发者可以使用 NVIDIA NeMo，结合自有数据、工具、政策和工作流程对 Nemotron 3.5 Super VL 进行后训练。本文介绍了如何利用这一基础构建专业化企业智能体，并阐述了支撑该模型的训练与推理技术。
为何选择 Nemotron 3.5 Super VL 构建专业化智能体
智能体需要理解自身任务和运行环境。客户服务智能体必须遵循公司退货政策，研究型智能体需要跨来源关联证据，而文档智能体则要解读表格、图表和页面布局。
Nemotron 3.5 Super VL 将推理与视觉理解结合，适用于一系列智能体工作流程，包括：
编码：测试和验证代码、分析错误并提出修复建议。
网络研究：跨网站搜索、关联信息并验证答案。
文档智能：从表格、图表和页面布局中提取信息，生成摘要和报告。
网络安全：识别安全漏洞并对威胁进行分级处理，以确定修复优先级。
视频理解：提取信息用于搜索、内容审核和事件分析。
在模型体系中，Nemotron 3.5 Super VL 负责处理需要推理、工具使用以及文本与视觉理解相结合的专业化多步骤工作。而更小的模型，如 NVIDIA Nemotron 3.5 Lightning，负责处理高吞吐量的文本任务；前沿模型如 NVIDIA Nemotron 3 Ultra 则承担复杂的规划与编排工作。
针对领域数据、工具和政策定制 Nemotron 3.5 Super VL
专业化智能体必须了解组织的运作方式。领域术语、工具接口、操作流程和政策要求决定了智能体能否成功完成任务。
从网络安全、金融到医疗等多个行业的组织，正在对 Nemotron 3.5 Super VL 进行后训练，使其在生产工作流程中的准确性和效率超越前沿模型。例如：
AI数据与技术提供商Scale AI为媒体娱乐公司Skydance Corporation的供应商信用自动化处理流程对Nemotron 3.5 Super VL进行了后训练，该工作负载的推理成本将降低40倍，延迟降低5倍。
金融运营平台提供商Ramp正在将收据图像转换为包含商户信息、日期和支付数据的结构化JSON，预计吞吐量将提高最多50%，延迟降低10倍。
企业AI公司AI21为AI安全与安防公司Alice的威胁情报和漏洞分析进行了后训练，准确率提升了40%。
团队可以使用 NVIDIA NeMo 开放库对模型进行后训练，以满足这些需求。开发者可以使用 NVIDIA NeMo AutoModel 进行监督微调（SFT）和低秩适应（LoRA），以教授特定领域的行为。强化学习（RL）则能提升模型在反映组织工作流程的智能体环境中的表现。
与 Nemotron 3.5 Super VL 一同发布的，还有 NVIDIA 在 Hugging Face 上开放的多个数据集，包括智能体工具使用和对话数据、金融推理与工具调用数据集、指令遵循与聊天数据、长上下文转换和翻译数据、公平性数据，以及45个视觉语言数据集。这些数据集可用于补充专有数据，以进行SFT和RL训练。
对于多模态数据，可以从 NeMo Data Designer 资源入手，用于图表问答和长文档理解。此外还可探索用于强化学习和基于环境评估的 NVIDIA NeMo RL 和 NVIDIA NeMo Gym。
组织可以在受支持的本地、数据中心或云环境中调整并部署该模型的开放权重，以满足其基础设施和数据要求。定制资源可参阅 GitHub 上的 Nemotron 3.5 Super VL 使用手册。
在单一工作流程中结合文本与视觉理解
Nemotron 3.5 Super VL 将文本、图像、文档和视频理解与推理及指令遵循相结合，可针对这些输入内容回答问题。
该模型的视觉训练涵盖图表、表格、光学字符识别（OCR）、多页文档和视频理解。一个两阶段的SFT流程训练语言和视觉组件，将视觉证据与推理、聊天、安全性、长上下文数据和智能体轨迹相结合。
在文档智能方面，同一个模型可以解读图表，将其与文档其他位置的表格关联起来，并对两者进行总结。开发者可以根据自己的文档和评估标准来定制工作流程。
使用 NeMo Data Designer 生成的多样化训练数据，帮助模型更好地理解复杂图表。在图表推理基准测试CharXiv上，该模型得分为80.8%，而Nemotron 3 Nano Omni的得分为63%。借助Python代码解读功能，得分可达到84%。相关方法和经验总结可参阅图表理解深度解析文章以及开源的图表问答流程。
该模型的构建得到了Nemotron联盟组织的支持与专业协助。例如，来自Perplexity的高质量数据集有助于改进和简化模型的中期训练；来自Prime Intellect的环境则有助于构建更优质的教师模型。
Nemotron 3.5 Super VL 也是 OCRBench v2 排行榜上排名靠前的开放模型之一。
跨智能体任务的准确性与效率
对 Nemotron 3.5 Super VL 的评估涵盖了 Hermes、LangChain、OpenClaw、OpenCode、Pi、Codex 和 Claude。除编码任务外，智能体框架提供商还使用自有评估方式测试了广泛的智能体任务。在 Hermes Bench 和 LangChain 行为评估中，Nemotron 3.5 Super VL 得分高于 Nemotron 3 Ultra。
对于始终在线的智能体而言，效率决定了部署能完成的工作量。吞吐量、Token使用量、工具调用次数以及达到正确结果所需的步骤，都会影响任务完成时间。
该模型还经过优化，可在 NVIDIA DGX Spark 上本地运行。EXO Labs的独立评估显示，Nemotron 3.5 Super VL 在准确性和任务完成时间方面处于帕累托最优前沿。
Nemotron 3.5 Super VL 的技术内核
该模型以强大的基础模型为依托，采用混合架构、推测解码、上下文复用和混合精度技术，以减少重复智能体调用中的推理工作量。
构建强大的基础模型
Nemotron 3.5 Super VL 是从 Nemotron 3 Ultra 蒸馏而来。Ultra的编码能力，结合蒸馏过程中使用的SkewReverse损失函数，有助于提升编码准确性。
在后训练阶段，多教师在线策略蒸馏（MOPD）结合了来自文本和视觉领域专业教师模型的指导。模型生成响应，教师模型则针对视频推理与追踪、视觉工具使用及对齐情况对其进行打分。
针对智能体行为示例、代码库和软件工程任务的额外训练，提升了模型在智能体任务上的表现。在多种评估设置下，Nemotron 3.5 Super VL 在 SWE-bench 和 Terminal-Bench 上的表现均优于 Nemotron 3 Super。
使用高质量自然语言和合成数据进行的持续预训练，提升了模型的印度语系语言能力，并有助于后训练后整体得分的提高。该阶段新增了100亿印度语系Token，这些数据取自Nemotron-pretraining-Indic-v1中12种语言的子集以及自然印度语系文本。
NVIDIA 正在发布完整数据集，该数据集涵盖22种印度语言，约含2.8万亿Token，由NVIDIA与印度理工学院马德拉斯分校（IIT Madras）及其AI4Bharat实验室共同开发。以下结果基于经过后训练的 Nemotron 3.5 Super VL。
开发者可以使用 NeMo 以此为基础，针对自己的应用场景对 Nemotron 3.5 Super VL 进行定制，使其推理和智能体能力适应自身的数据、工具和工作流程。
LiLiCorr：一种开放的推测解码技术
LiLiCorr 通过对整个草案中的候选Token进行联合评估来改进并行推测解码，捕捉独立Token预测所遗漏的依赖关系。一个轻量级网络在单次传递中计算兼容性得分，生成更加连贯的草案，仅留下一个低成本的序列化最终选择步骤。
在 DGX Spark 上，LiLiCorr 是用于 Nemotron 3.5 Super VL 低延迟推理的推荐草案生成器，与不使用推测解码相比，其Token生成速度最高可提升2.3倍。
NVFP4与混合精度
该模型使用 NVIDIA Model Optimizer 进行后训练量化和量化感知蒸馏（QAD）。NVFP4方案在 NVIDIA Blackwell 架构上使用4位权重和激活值。同一检查点可在非Blackwell平台上以4位权重和16位激活值运行。敏感组件的精度则单独选择。
NVFP4 使模型变得更小，而 QAD 有助于模型在较低精度下保持准确性。在QAD过程中，经过量化的模型学习匹配原始BF16模型的输出，从而缩小量化带来的准确性差距。QAD还支持将键值（KV）缓存以NVFP4而非FP8格式存储，同时仍能达到准确性目标。由于QAD发生在训练阶段，因此不会增加任何推理开销。
多Token预测
多Token预测（MTP）为 Nemotron 3.5 Super VL 配备了一个内部草案生成器，可在一次前向传递中提出多个Token供主模型验证。一次性接受多个Token可减少生成响应所需的计算密集型验证步骤数量。
一个专门的MTP强化训练阶段，进一步使草案生成器与最终模型保持对齐。
跨智能体轮次的上下文复用
智能体会反复将系统指令、工具定义和对话历史传回模型。前缀缓存可复用这些共享输入的计算结果。
该模型的服务优化同时保留了注意力缓存和Mamba循环状态。额外的Mamba检查点减少了为恢复推测解码所需输入而进行的重放，而内部检查点机制则避免了提示处理过程中的额外模型传递。
借助 NVIDIA NIM 和 NVIDIA Dynamo 简化生产部署
NVIDIA NIM 将模型与经过优化的推理引擎、经过验证的配置以及标准API打包在一起，用于云端和数据中心部署。NIM会持续获得安全、功能和性能方面的更新，企业支持可通过 NVIDIA AI Enterprise 获取。
NVIDIA Dynamo 支持分布式推理优化，以提高吞吐量并降低延迟，包括KV缓存感知路由、KV缓存管理和分离式服务。
在16块 NVIDIA B200 GPU上，以每用户每秒50个Token的速率运行时，具备会话亲和性的KV感知路由和KV缓存卸载技术，可在将首个Token延迟降低85%的同时，服务多达8倍的用户数量。
开始使用 Nemotron 3.5 Super VL
构建具备多模态推理和工具使用能力的专业化智能体，针对专业化工作流程进行模型定制，然后部署到受支持的环境中。
此次发布包括基础版、后训练版和NVFP4量化版检查点，并附带训练方案、数据和强化学习环境。
有关模型详情，请参阅 Nemotron 3.5 技术报告；部署说明可参阅 Hugging Face 或 ModelScope；托管模型访问方式请参阅 OpenRouter。
合作伙伴生态
多个合作伙伴支持针对特定领域工作流程对 Nemotron 3.5 Super VL 进行定制和部署，涵盖后训练、推理软件、框架、云平台、系统集成商、硬件基础设施以及AI原生企业和托管推理服务提供商等多个类别。
Q&A
Q1：NVIDIA Nemotron 3.5 Super VL是什么？
A：它是NVIDIA推出的一款开放、可定制的多模态模型，采用1200亿参数的混合专家架构，每个Token激活120亿参数，结合了推理、指令遵循、工具使用以及文本、图像、文档和视频理解能力，主要用于构建专业化企业智能体。
Q2：Nemotron 3.5 Super VL适合哪些应用场景？
A：该模型适用于编码测试与修复、网络研究、文档智能提取与总结、网络安全漏洞识别与威胁分级，以及视频内容搜索与分析等多种智能体工作流程，尤其适合需要文本和视觉理解相结合的复杂任务。
Q3：企业如何定制使用这款模型？
A：开发者可以使用NVIDIA NeMo开放库，结合自有数据、工具和政策对模型进行后训练，支持监督微调（SFT）、低秩适应（LoRA）和强化学习（RL）等方式，模型开放权重可在本地、数据中心或云环境中部署。
