世界模型的准确性始于高质量、多样化的训练数据集。然而,采集罕见缺陷、夜间事故等具有挑战性的场景既昂贵又耗时。将原始数据转化为可用于训练的数据集会增加复杂性,尤其是在使用互不关联的工具和人工流程进行数据整理、标注、生成和评估时。

NVIDIA的技术正帮助开发者更轻松地大规模构建高质量、多样化的物理AI训练数据集。NVIDIA Cosmos是一个面向世界模型开发的开放平台,包含前沿模型、数据集、框架和技能。作为该平台的一部分,NVIDIA Cosmos Data Factory(CDF)汇集了五个云原生蓝图和六项可组合技能,以加速数据整理、处理和合成数据生成(SDG)。前沿AI智能体可用于编排这些蓝图,实现无需人工干预的"提示词到数据"流程。

本文将介绍如何仅用两条提示词在Cosmos中为物理AI模型训练整理和增强数据集,或创建异常事件数据。文章涵盖五种不同的使用场景。

设置和配置Cosmos蓝图与技能:提示词1

Cosmos Data Factory包含五个针对常见任务的参考蓝图。这五个蓝图均通过CDF编排核心技能运行,该技能负责协调工作流步骤、部署所需服务,并在集群上管理执行过程。

要进行设置,请在您的编码智能体中输入以下提示词:

预检会在不做任何更改的情况下检查您的环境,并标记出缺失的内容。检查通过后,设置流程会为运行蓝图做好环境准备。

针对您的训练数据使用场景运行蓝图:提示词2

本节介绍五种运行蓝图的训练数据使用场景,并附带示例提示词:

生成用于自动驾驶车辆(AV)训练的驾驶场景

增强图像属性以用于搜索和重识别

跨天气、光照和环境条件增强视频

生成用于模型训练的罕见事件视频

生成用于视觉检测的缺陷图像

如果您已经拥有素材或图像,需要进行整理并增加多样性,本节的第一个使用场景涵盖了生成驾驶场景、改变人物图像中的服装属性,以及跨天气、光照和环境条件转换视频。增强类使用场景可以扩展现有数据的多样性,但有些训练缺口需要创建全新的事件或缺陷。

您的模型可能需要识别产品泄漏或有缺陷的电路板,但您的数据集中可能只有极少或没有此类样本。等待采集足够的罕见案例可能需要数年时间,而人为布置这些场景则可能既危险又昂贵。本节的最后两个使用场景涵盖了如何从图像或3D资产生成罕见事件视频和缺陷图像,以填补这些空白。

使用场景一:生成用于AV训练的驾驶场景

自动驾驶车辆数据集生成蓝图可帮助您在大型驾驶场景数据库中进行搜索,并为下游模型训练和验证任务生成新颖的数据集。NVIDIA Cosmos Curator为视频数据集输入提取元数据,NVIDIA Cosmos Dataset Search则通过这些嵌入向量查找相关视频。检索到的视频会传递给NVIDIA Cosmos3-Super-Image2Video进行风格迁移,Cosmos Evaluator则对生成的视频进行物理合理性检验。

使用场景二:增强图像属性以用于搜索和重识别

图像属性增强参考蓝图可生成人物裁剪图像的变体,并对服装类型、配饰和颜色等属性进行可控调整。一个大语言模型将您选定的属性转化为结构化的修改提示词,用于生成源图像的增强变体。Cosmos Evaluator确认所请求的服装属性确实出现。随后,该蓝图会用服装属性和搜索查询对结果进行自动标注,用于人物搜索和重识别。

使用场景三:跨天气、光照和环境条件增强视频

视频数据增强参考蓝图可在保留场景结构的同时,跨天气、光照和环境条件转换您现有的素材。视觉语言模型(VLM)会描述您的源视频,并将该描述与您所需的条件相结合,生成结构化提示词,Cosmos3-Nano利用该提示词生成增强后的变体。

Cosmos Evaluator会检查每段生成的片段中是否存在源视频中不存在的运动伪影,确认您所要求的条件确实出现,并评估运动是否符合物理合理性。接下来,该蓝图会对源视频和生成视频进行检测、跟踪和字幕的自动标注,然后为您提供一个可用于训练的数据集。

使用场景四:生成用于模型训练的罕见事件视频

事件视频生成参考蓝图利用源图像创建火灾、跌倒或盗窃等罕见事件的视频。VLM将其对场景的描述与您所需的事件相结合,生成结构化提示词。Cosmos3-Super-Image2Video在保留源视角和布局的同时生成该片段。

Cosmos Evaluator会检查事件是否出现,以及运动是否符合物理合理性,对不合格的片段进行重试。通过检验的片段会被自动标注检测结果、跟踪信息、字幕和语义注释,供下游训练使用。

使用场景五:生成用于视觉检测的缺陷图像

缺陷图像生成参考蓝图可根据电路板、玻璃面板或金属表面等零部件的干净检测图像或3D USD资产,创建带有缺陷的样本。对于3D资产,NVIDIA Isaac Sim负责渲染检测图像和蒙版,Qwen-Image-Edit则创建逼真的干净参考图像,即"黄金图像"。

Cosmos 3 Super利用这些图像、缺陷蒙版以及您所需的缺陷类型,在保留周围零部件完整性的同时生成缺陷。该方案已针对印刷电路板(PCB)、玻璃和金属进行了微调,并为其他使用场景提供进一步的微调技能。您将获得黄金图像、合成缺陷图像,以及追溯每个结果来源和生成设置的清单。

如何针对整理、搜索和标注等特定任务使用核心智能体技能和工具

前文介绍的蓝图均基于六项核心智能体技能构建:自动标注、异常生成(AnomalyGen)、增强、整理与检索、仿真以及编排。您可以独立使用这些技能,也可以将它们组合起来,围绕自己的数据和目标构建工作流。

自动标注:将原始视频和图像转化为带有检测、跟踪、字幕和场景理解信息的标注数据集。

异常生成(AnomalyGen):从少量样本中创建逼真的缺陷图像及其蒙版,用于视觉检测。

增强:利用Cosmos模型为难以采集的条件生成视频和图像的视觉变体。

整理与检索:利用Cosmos Curator和Cosmos Dataset Search在大型数据集合中查找片段和图像。

仿真:利用Isaac Sim和Omniverse Replicator从3D场景渲染出逼真且完全标注的图像。

编排:在您的集群上运行参考蓝图,部署各蓝图所需的服务并进行扩展。

对于以整理和检索为重点的工作流,可使用Cosmos Curator处理原始视频和多模态数据并进行自动标注,使用Cosmos Dataset Search在大型数据集中查找目标训练场景。Cosmos Curator现已在其传感器库中支持多摄像头视频、IMU和GPS输入,并初步支持激光雷达。可复用的Python处理组件以及基于Slurm的Managed Ray编排功能,可帮助团队关联传感器观测数据、测试数据整理策略,并利用闲置的GPU算力。

未来计划扩展支持更多激光雷达设备、雷达及其他类型的传感器。Cosmos Dataset Search现已基于Apache 2.0许可证开源,通过多重嵌入检索和自适应智能体重排序(抢先体验阶段),将元数据、场景语义、空间关系和时序行为相结合。其模块化API和智能体技能可为训练数据集或上述增强蓝图检索相关视频片段。

训练数据生成速度提升高达60倍,成本降低高达45倍

Cosmos Data Factory的技能和蓝图将难以采集的训练数据转化为您可自主掌控的计算工作负载。NVIDIA团队在配备八块NVIDIA RTX PRO 6000 Blackwell系列GPU的云服务器上测算了每日吞吐量,该服务器每小时成本约为40美元,即每天960美元,随后用每日成本除以产出量,估算出每项数据资产的成本。

自动驾驶数据集生成:每天生成约130个边缘案例片段,每个片段的GPU计算成本为2.66美元,比路测车队采集场景数据(每个场景125美元)便宜约45倍。

图像属性增强:每天增强约42,649对标注图像,成本为每天960美元,即每对0.023美元,比第三方采购数据的平均成本0.25美元便宜约10倍。

视频数据增强:每天增强约305个标注片段,每个约5分钟长的片段成本为3.15美元,比我们此前为第三方数据支付的平均成本22美元便宜约7倍。

缺陷图像生成:将数据集组建时间从两个月缩短至一天,速度提升60倍。

事件视频生成:每天生成约384个标注片段,每个成本2.50美元,耗时约4分钟,无需等待或重现危险的真实事故即可创建稀缺的火灾、打斗和跌倒训练样本。

借助Cosmos,训练数据的缺口变成了具有可衡量计算预算的生成任务。需要说明的是,以上数据仅涵盖计算成本;源数据准备、环境设置、智能体使用、存储和人工审核可能会产生额外费用。

各组织使用Cosmos报告了哪些成果和预期效果?

多家组织正在使用Cosmos的技能和蓝图,在自动驾驶车辆、视觉检测和机器人领域提升测试、检测和搜索的准确性,同时力求降低成本和工作量。

通过合成数据将真实世界异常情况的召回率提升高达24%,在某海上油气站点实现数据生成成本投资回报率预计达1400倍。

在自动光学检测(AOI)程序生成方面,目标将人工工程工作量减少高达85%,同时误报率降低40%。

将重复性实际路测次数减少高达90%,并将AI回归测试周期缩短高达85%(预期值)。

使用Cosmos Curator可在不到两周内实现产品上市,而自建同等能力的流水线预计需要六个月时间。

开始使用NVIDIA Cosmos

如需为您的应用加速数据整理、处理和合成数据生成,请查看NVIDIA Cosmos Data Factory的蓝图和可组合技能。从与您的使用场景匹配的蓝图入手,遵循设置指南,并使用您的AI智能体结合自身数据运行该工作流。您还可以通过单独的技能定制自己的流水线,以生成高质量、带标注的训练数据集。

欲了解更多信息,欢迎于11月19日加入我们的直播节目《用两条提示词构建可训练数据集》。了解如何使用Cosmos为自动驾驶车辆、机器人和视觉AI智能体整理和增强数据集。本次直播将邀请Voxel51和Encord参与,重点介绍保时捷如何通过Voxel51平台使用Cosmos Data Factory,以及Encord与ANYbotics的合作案例。

NVIDIA