智能体AI正在重塑科学研究与创新方式。研究人员用自然语言表达复杂的科学假设,让自主智能体独立规划任务、执行模拟、评估结果,并在多次迭代中进行自我修正。科学智能体正承担起更长、更复杂、且日益依赖视觉信息的工作流程。

在每一个环节中,准确性与推理效率都至关重要。如果没有验证机制,错误会在整个工作流程中不断累积,而延迟和计算成本也会随着持续运行而成倍增加。

NVIDIA Nemotron for Science 是一套面向加速科学智能体工作负载而推出的模型、数据集、工具与方案集合,旨在解决这些难题。其中包括 Nemotron 3.5 Super VL——一个面向此类专业工作流程的开放、可定制、多模态模型,以及 NVIDIA Nemotron Litmus-Bench V2.0——一个开源的化学推理数据集与基准测试,专为训练和评估大语言模型及智能体AI模型在分子特性方面的能力而设计。开箱即用的Nemotron在科学基准测试中便可达到前沿级别的准确性(见下图1),同时在科学编程方面拥有最快的求解速度。

Nemotron 模型的一个重要优势是支持 NVIDIA 后训练功能。你可以根据自己特定的研究领域对模型进行定制,以提升准确性。

本文提供了一套针对科学应用场景、对 Nemotron 3.5 Super VL 进行后训练的实用方案。从原始实验数据集出发,本文将介绍如何使用 NVIDIA NeMo Gym 搭建自定义强化学习(RL)环境,应用强化学习,并通过分子相似度评分来衡量改进效果。NeMo Gym 提供环境基础设施,NVIDIA NeMo RL 提供后训练框架。

本指南以药物代谢预测为实际示例。给定一个母体化合物(即起始分子)及其代谢酶,模型需要预测生成的代谢产物。下文示例使用了来自 MetxBioDB 的数据记录,这是一个包含经实验确认的生物转化反应的综合数据库。

本文首先介绍直接强化学习方法,随后介绍一个可选的蒸馏步骤,当有教师模型能提供有用示例时,可在强化学习之前使用该步骤。

从实验数据构建强化学习环境

起点是一份包含现有实验记录的CSV文件,例如序列、简化分子线性输入系统(SMILES)字符串、反应条件,以及与测得的属性或结果配对的其他任何元数据。在本示例中,分子结构以SMILES字符串表示,这是一种用于描述分子原子与键的文本表示法。

这些输入输出对会被重新格式化为问答或用户/助手提示对,其中实验得出的真实结果作为验证器,用于对模型的回答进行评分。这种设置构成了一个基本的带可验证奖励的强化学习(RLVR)环境,且无需人工偏好标注:奖励信号直接来自数据本身。

该奖励信号的精细程度可以根据任务进行调整。简单的序列相似性函数可以作为轻量级验证器,而更复杂的工具,例如化学信息学库、分子模拟器,甚至实时自主实验室,都可以作为工具调用接入,并作为环境的评分层。工具越丰富,模型就能被越精确地引导生成具有化学或生物学意义的输出。

在代谢示例中,模型接收母体分子和酶的信息,然后提交预测的代谢产物。验证器使用Tanimoto相似度比较预测与参考分子指纹图谱——即结构特征的数值表示。Tanimoto相似度是一种用于衡量两个集合或二进制向量重叠程度的指标,其计算方式是将两者交集的大小除以并集的大小。对于此处使用的位指纹,分数范围为0到1,分数越高表示指纹越相似。

在自定义环境上进行直接强化学习后训练

环境搭建完成后,使用组相对策略优化(GRPO)结合低秩适配器(LoRA)对模型进行微调。该环境向模型提供一个实验输入,并要求模型在通过工具调用提交预测答案之前,逐步进行推理。每次提交都会由验证器自动评分,从而提供密集的奖励信号,无需进一步标注。训练循环、奖励服务器、工具框架和推演工作节点都是完全自包含的,因此同一套流程可以推广到任何能够返回标量奖励的领域。

在药物代谢RLVR环境中,以16384个Token的输出预算进行测试,监督微调(SFT)使Nemotron for Science的准确性提升了12%,而强化学习后训练进一步提升了17%。这表明,即使是能力很强的指令调优模型,在针对特定领域任务获得定向强化学习反馈后,仍能实现有意义的持续改进。

从更强模型中蒸馏作为强化学习的"热启动"

如果基础模型在强化学习训练之前需要提升能力,或者强化学习收敛速度较慢,蒸馏步骤可以带来显著提升。让一个更强的教师模型(例如一个更大的前沿模型或某领域的专家模型)在相同环境中运行,以生成高质量的推理轨迹。如果教师模型在识别酶、预测反应位点以及推导代谢产物结构方面的逐步逻辑,最终得出的SMILES与真实代谢产物相符,则该推理轨迹被视为高质量。即使推理过程看起来流畅且合理,但如果其中存在导致错误预测的逻辑缺陷,仍属于低质量推理轨迹。

这些高质量的推理轨迹用于通过监督微调(SFT)或直接的同策略蒸馏来微调学生模型,使其在强化学习循环开始之前拥有更好的起点。这被称为"热启动",通常可以加快收敛速度并提高性能下限,从而使后续的强化学习训练更加高效,也更有可能找到一个强有力的策略。

用于监督微调的数据蒸馏

该蒸馏流程在训练集上运行Anthropic的Claude Sonnet 5.5,通过Tanimoto相似度(工具调用)对每次推演结果与真实代谢产物进行评分,并仅保留模型预测正确的(问题,推理轨迹)对。这些数据将作为较小模型的监督微调语料库。

在该环境中,从1934个训练提示中筛选出了1123条高质量推理轨迹,筛选阈值为Tanimoto相似度≥0.7。以下是Claude Sonnet 5.5针对一个问答对生成的蒸馏推理轨迹示例。注意,每次请求都包含一个固定的系统提示,该提示可以在不同环境中有所变化。大语言模型的请求以包含问题和系统提示的聊天消息形式进行格式化。

MetxBioDB环境(CYP1A2 N-去甲基化)

问题:

母体化合物SMILES:Cc1nn(C)c(Cl)c1C(O)=Nc1cccc2c1C(C)OC2(C)C

代谢酶:CYP1A2

请逐步推理该生物转化过程,然后调用submit_metabolite工具提交预测的主要代谢产物SMILES。

真实结果:

Cc1[nH]nc(Cl)c1C(O)=Nc1cccc2c1C(C)OC2(C)C — Tanimoto相似度 = 1.0(完全匹配)

系统提示:

你是一名专注于药物代谢的专家计算化学家。你的任务是预测当给定的母体化合物被指定的酶或酶家族进行生物转化后生成的代谢产物的SMILES字符串。回答格式:1. 提供逐步的科学推理:a. 确定母体化合物中与该酶相关的功能基团。b. 描述该酶已知的反应机制和区域选择性。c. 确定具体的生物转化位点并解释原因。d. 描述所应用的化学转化(例如羟基化、葡糖苷酸化)。e. 说明对母体SMILES产生的结构性变化。2. 最后调用submit_metabolite工具,提交你预测的代谢产物SMILES。规则:传递给submit_metabolite的SMILES必须是有效的、规范的,并代表化学上正确的代谢产物——参数中不要包含多余文本。应用对指定酶典型反应机制的知识(例如CYP450羟基化/氧化、UGT葡糖苷酸化、SULT硫酸化、MAO脱氨、NAT乙酰化等)。如果列出了多种酶(以分号分隔),则使用它们对底物的组合或最可能的反应。

推理轨迹(Claude Sonnet 5.5):

a. 与CYP1A2相关的功能基团:母体化合物含有一个N-甲基吡唑(环氮上的N-CH3)。CYP1A2以通过α碳羟基化、随后半胺醇分解而对芳香胺和N-烷基杂环进行N-去甲基化而著称。b. 酶机制:CYP1A2从N-甲基碳上提取一个氢原子(N–CH3 → N–CH2o),随后氧原子回弹生成N–CH2OH;半胺醇自发分解,生成自由的N–H和甲醛。c. 生物转化位点:吡唑环上的1-甲基(N1-CH3)是主要作用位点。C3-甲基连接在碳原子上而非氮原子上,反应活性要低得多。d. 化学转化:N-去甲基化:–N(CH3)– → –NH–,失去CH2O。e. SMILES的结构变化:原始N-甲基:Cc1nn(C)c(Cl)c1…← nn(C)氮失去其CH3基团 产物:Cc1[nH]nc(Cl)c1…← 变为[nH]

工具调用:

submit_metabolite({"smiles": "Cc1[nH]nc(Cl)c1C(O)=Nc1cccc2c1C(C)OC2(C)C"})

代码入门

下方方案摘自nemo-rl和nemo-gym训练模块。每段代码都是自包含的,可以通过替换相应配置来适配新的领域。

NemoGym环境注册

以下代码片段用于从实验CSV文件注册一个NemoGym RLVR环境。注册该环境需要四个部分。

1. CSV转Gym JSONL格式

CSV中的每一行会转换为JSONL中的一行。额外的字段(此处为ground_truth_smiles)会传递给服务器的seed_session并用于验证。

(代码部分略,保留原始代码结构)

2. 资源服务器:resources_servers/metxbiodb/app.py

这是唯一需要针对特定领域编写的代码,它包含三个部分:

seed_session为每个会话存储真实结果。

submit_metabolite工具端点使用Morgan指纹的Tanimoto相似度(半径2,2048位)对首次提交进行评分。

verify返回该分数作为奖励。

它还需要一个包含rdkit的pyproject.toml文件。要适配新领域,只需替换tanimoto_similarity函数和工具模式。

3. 注册yaml文件

(配置内容略,保留原始代码结构)

智能体名称必须与JSONL各行中的agent_ref.name保持一致。

4. 接入训练器配置

(配置内容略,保留原始代码结构)

GRPO训练启动

使用以下命令启动GRPO训练:

(命令内容略,保留原始代码结构)

注意:grpo_metxbiodb_super_vl.yaml是本文所述环境的完整GRPO训练器配置文件。

GRPO策略配置

以下展示了GRPO训练器配置中的策略部分。完整配置还包括推演、奖励服务器和日志记录相关设置。

(配置内容略,保留原始代码结构)

注意:将loss_fn.use_importance_sampling_correction设为True,可以降低vLLM推演引擎与Megatron训练引擎之间的方差。这对于专家混合(MoE)模型尤为重要。

蒸馏流程

以下代码片段通过Tanimoto相似度对教师模型的推演结果进行评分,并根据用户设定的分数阈值筛选出用于监督微调语料库的推理轨迹。

生成脚本与启动命令如下:

(命令及代码内容略,保留原始代码结构)

注意:按分数等于1.0(完全Tanimoto匹配)进行筛选,只保留教师模型推理在化学上合乎逻辑、且最终答案与真实结果完全一致的轨迹。若想引入一定的宽容度以增加数据多样性,可改用阈值筛选(例如分数≥0.7)。

SFT训练器启动

使用以下命令启动监督微调训练:

(命令内容略,保留原始代码结构)

注意:sft_metxbiodb_super_vl_lora.yaml是本文所述环境的完整SFT训练器配置文件。

SFT训练器配置

以下监督微调训练器配置,用于在强化学习循环开始之前,让学生模型在蒸馏得到的推理轨迹上进行"热启动":

(配置内容略,保留原始代码结构)

后训练为研究团队提供了一种方法,使Nemotron模型能够适配各自领域中真正重要的任务与实验证据。该方案将实验记录转化为提示语和参考答案,将模型的提交结果与自动化验证器相连接,并利用强化学习针对该反馈进行训练。

其中最核心的设计选择在于奖励机制:它应当衡量你所期望的科学成果。教师模型蒸馏提供了一个可选的起点,而留出评估集则有助于判断这两种训练路径是否都能让模型性能超越初始水平。

领域特定的数据、与任务相匹配的验证方式,以及可复现的评估流程,三者结合在一起,为开发专业化科学智能体提供了切实可行的基础。建议从一个范围明确的狭窄任务开始,验证评分方法的有效性,并仅在证据支持的情况下逐步扩展工作流程。

你可以从探索NeMo Gym和NeMo RL开始入手,然后参考本文附带的方案,为自己的科学任务构建并评估专属环境。

NVIDIA