物理AI开发者在使用世界模型时面临两大挑战：一是让模型适配各自的传感器、任务与数据；二是将这些模型可靠地部署到实际应用中。
NVIDIA Cosmos正是针对这两点而设计。Cosmos是一个面向物理AI的世界基础模型及开发工具平台。其中，Cosmos Framework提供了智能体技能和操作指南，用于世界模型训练、多模态数据处理、优化与推理；Cosmos NIM微服务则通过应用接口支持GPU加速的服务部署。
本文将分别介绍这两部分内容。仿真部分将展示如何利用Cosmos Framework的推理指南和智能体技能，基于现已发布的模型检查点，为自动驾驶、机器人与手术场景生成同步的摄像头视频和LiDAR观测数据。部署部分则介绍如何根据你的GPU选择合适的NIM配置、启动容器、验证就绪状态，并发送首个推理请求。
何时使用Cosmos Framework进行世界模型开发
Cosmos Framework是一个开放且完全模块化的框架，支持世界模型训练、模型优化与推理，借助全新的智能体技能，覆盖完整的模型开发生命周期。该框架已从Cosmos 3扩展，现在支持NVIDIA Alpamayo、GR00T、Qwen、pi0.5以及其他兼容Hugging Face的模型。
训练
利用新技能，更快地在文本、图像、视频、音频和动作数据上训练模型。
使用LoRA进行参数高效适配，或采用完整的监督微调（SFT）来更新全部模型参数。
通过JSONL、WebDataset、LeRobot或自定义适配器加载数据，可在多GPU间进行训练，并保存检查点以便恢复运行。
指引智能体使用后训练技能，实现加速与自动化。
应用强化学习
该平台现已支持在线和离线强化学习路径。新支持的流程包括：DPO（离线偏好优化）；GRPO（基于规则或模型奖励的在线强化学习，结合vLLM rollout）；PPO（带冻结参考模型与评价器的actor-critic强化学习，包括用于仿真中具身策略的强化学习）；OPD（基于冻结教师模型的在策略蒸馏）；DiffusionNFT（扩散世界模型的在线强化学习）。
可在共享GPU或独立GPU池上运行rollout、奖励计算和训练角色。
可连接受支持的仿真器以收集经验数据。
优化模型与推理
通过蒸馏来减小模型体积或生成步骤数；通过量化来降低内存占用。
可在Hugging Face Diffusers、PyTorch、SGLang、vLLM-Omni、vLLM、TRT-LLM和TRT-Edge-LLM，或NVIDIA NIM上运行兼容的模型检查点。
评估质量、精度与GPU利用率，最大化计算资源利用效率。
在Cosmos Framework中使用智能体
在.agents/skills目录下加载设置、推理、后训练和故障排查技能，并给智能体一个明确边界的任务，例如：
提示语：在<数据集>上使用<指南>对<检查点>进行后训练。固定所有版本，验证数据集，并保持训练与评估数据集分离。运行烟雾测试，保存配置，并在达到<N>GPU小时后停止。使用三个随机种子，将导出结果与基础模型在留出数据上进行对比。在支持的较低精度下重复评估；记录质量、峰值内存和延迟。
应选择哪种Cosmos仿真工作流？
Cosmos Framework为机器人仿真、逼真场景生成、多摄像头驾驶仿真以及手术策略评估提供了后训练和推理指南。全新的Cosmos 3 Nano仿真指南和示例检查点，使开发者能够借助智能体可执行技能来评估示例检查点，并将Cosmos 3 Nano适配到自定义传感器、动作空间和数据领域。
这些检查点支持PyTorch和vLLM-Omni，并已在NVIDIA Hopper和Blackwell GPU上完成测试。可根据指南选择GPU数量、内存配置和推理设置。
自动驾驶仿真：
两个自动驾驶检查点都接受一个提示语以及表示车道、物体、道路标志、交通标牌和道路边界的世界场景地图（WSM）控制信号。联合RGB-LiDAR生成额外使用高精地图距离图控制信号，并支持可选的初始LiDAR观测输入。提示语描述天气、光照、时间以及道路状况，并以摄像头装置和视场角信息作为前缀。可选的初始摄像头图像可为生成场景的外观提供视觉参考。
Cosmos3-Nano-Transfer-Auto采用双向生成方式，一次性对整段多视角视频片段进行去噪，用于离线合成数据生成。它支持30 fps的输入和输出视频，在480p或720p分辨率下支持最多400帧；更长的序列可通过自回归分块生成。只需更改提示语，即可将白天驾驶场景转变为雨夜场景，同时保持相同的道路布局和车辆轨迹。可利用这些变体来训练和评估感知与驾驶模型在不同天气和光照条件下的表现。
完成Framework设置后，可在代码仓库根目录运行上述四GPU示例。对于Transfer-Auto，可使用官方发布的示例配置，包含七路同步的WSM视频、每个摄像头的描述文本、首帧RGB条件信号以及高精地图LiDAR控制信号。有关设置、输入准备和输出详情，请参阅Transfer-Auto推理指南。
（代码示例略）
该参考运行会生成七段720p视频（30 FPS下297帧）以及99次LiDAR扫描数据。可检查sample_outputs.json确认运行成功，检查lidar.safetensors确认距离和强度值为有限数值，然后验证各摄像头视角与LiDAR之间的WSM对齐与一致性。
关于自定义场景和装置适配，请参阅WSM渲染器和Transfer-Auto后训练指南；关于点云转换与可视化，请参阅LiDAR可视化工具。
Cosmos3-Nano-Sim-Auto是Cosmos3-Nano-Transfer-Auto的因果型、少步数蒸馏变体，支持自回归流式生成。它可以随着自动驾驶策略或人工驾驶输入通过WSM渲染器更新场景而逐步生成观测数据。生成的摄像头和LiDAR观测数据会反馈给策略模型，从而实现闭环评估。
对于Sim-Auto，可使用官方发布的Sim-Auto示例检查点和预渲染的WSM控制信号，复现参考rollout过程，以自回归方式生成同步的摄像头视频和LiDAR观测数据。有关设置、输入配置和输出详情，请参阅Sim-Auto推理指南。
（代码示例略）
关于人工控制rollout，请参阅Sim-Auto交互式驾驶文档。
Sim-Auto的参考运行结果将写入outputs/sim_auto/daytime_scene/目录。可对其应用与Transfer-Auto相同的输出检查方法。
机器人仿真：
Cosmos3-Nano-Sim-Transfer可将深度视频和提示语转换为具有不同光照、材质和背景的RGB视频，同时保持几何结构和运动不变。对于机器人演示数据，它可以改变第三人称视角，同时保留动作、状态和手腕摄像头录制内容。
视频3：将深度图、分割图、边缘图或模糊视频，结合语言提示语，转换为细节丰富的RGB观测数据，同时仿真器保持物理状态不变。
Cosmos3-Nano-Sim-Bimanual可根据场景和机器人动作生成下一帧视觉观测，支持YAM和AgiBot具身形态的交互式双臂仿真，可由策略模型或人工操纵的操纵杆控制。
其中，Sim-Transfer基于物理仿真器更新后的状态生成视觉画面；Sim-Bimanual则直接根据场景和机器人动作生成下一帧观测。
手术仿真：
由于涉及复杂的多物理场特性，手术环境对传统仿真器而言极具挑战性。生成式仿真提供了一种补充方案：无需显式建模场景几何、组织变形和物理交互，世界基础模型可直接从同步的手术视频和机器人运动学数据中学习视觉动态。
Cosmos3-H-Embodied-Nano基于Cosmos3构建，并在Open-H-Embodiment数据集上完成后训练，可根据机器人动作生成手术视频、根据视频预测动作，或同时生成两者。它接受一个初始RGB帧、一个任务提示语、最近执行的16个动作以及后续机器人动作作为输入。开发者可借助它生成合成数据并离线评估策略模型，而无需构建手术场景的物理模型。
Cosmos3-H-Dreams使开发者能够测试手术策略在手术过程推进中的响应方式，每个动作都会影响后续发展。该模型由Cosmos3-H-Embodied-Nano蒸馏而来，是一种因果型、少步数模型，可根据实时机器人运动学数据生成帧画面，支持由人工或学习型策略控制的实时闭环仿真。这为开发者提供了一个交互式环境，可在物理硬件测试前探索手术操作并评估策略。
何时使用Cosmos NIM进行加速推理
除了开放的推理工具外，全新的Cosmos NIM软件包还在经过优化的容器中提供模型支持，以实现加速推理，使Cosmos模型的部署更加便捷。
更快的推理、更低的内存占用：通过量化、推测解码、缓存、Token剪枝以及KV缓存感知路由实现推理加速。在H200上，推测解码的实测平均加速比约为2至3倍。
自定义模型与实时视频理解：支持部署经过微调的Cosmos检查点，并通过流式视觉语言模型推理处理实时视频流，实现亚秒级告警响应，事件响应延迟降低10倍。
更简单的生产部署：自动配置选择，在受支持的GPU上经过验证的性能与质量表现，配套许可支持，并提供季度性的功能、优化与安全更新。
GPU内存需求
（表格略）
如何启动Cosmos NIM
请根据上表选择GPU和模型配置，并按照部署指南在Linux系统上安装所需的NVIDIA驱动、Docker以及NVIDIA容器工具包。登录NGC API密钥页面，选择“生成个人密钥”，并启用NGC目录访问权限，然后在终端中将该密钥设置为NGC_API_KEY环境变量。
以下命令将在GPU 0上启动Nano Generator。请确保已安装curl和python3，并为镜像和模型缓存预留足够磁盘空间。此处展示的缓存权限设置适用于本地开发环境。
（代码示例略）
等待服务就绪（约几分钟），然后检查所选模型及配置信息。
（代码示例略）
如需查看启动进度，可在另一个终端中运行docker logs -f cosmos3-generator。至此即可开始生成内容。
选择延迟优先或吞吐量优先模式：
延迟模式（默认）：优先尽快完成单个请求，适合交互式实验场景；受支持的多GPU配置会协同使用多个GPU处理单个请求。
吞吐量模式：优先在一段时间内处理更多请求，适合数据集生成或多用户并发场景；各独立副本会并行处理请求。
该参数需在容器启动时通过NIM_PERF_PROFILE设置。以上设置适用于Generator，且吞吐量优势需要在并发请求场景下才能体现。延迟模式支持1、2、4或8个GPU，而吞吐量模式需要2、4或8个兼容的GPU。在单GPU示例中仅将NIM_PERF_PROFILE改为throughput将导致配置选择失败。
开始使用
探索Cosmos Framework，使用其智能体技能和参考指南，针对你的应用场景训练、定制和优化模型。可从与你的任务匹配的仿真检查点入手，复现参考工作流程，并将其适配到你自己的传感器、动作和数据。
阅读完整技术报告。
欢迎加入我们11月5日（周四）的直播，了解如何使用Cosmos Framework。
使用全新认证版Cosmos NIM在20余款NVIDIA GPU上部署Cosmos模型，获得最佳推理与生成性能。
