英伟达在9月1日推出了一种全新的生成式AI渲染方法,用于处理视频游戏画面。此前,英伟达首席执行官黄仁勋曾将这项技术誉为"图形领域的GPT时刻"。

深度学习超级采样5(DLSS 5)并非强迫图形处理器逐像素计算虚拟表面的材质物理属性和光照效果来实现高度逼真的画面,而是采用神经渲染方法,实时地将这些属性"绘制"到物体表面上。

DLSS技术自2018年起已发布多个版本,每一代都致力于通过插帧等技术手段提升帧率,从而让游戏运行更加高效。而这次整合进篮球游戏《NBA 2K27》的第五代版本,则瞄准了通过提升画面本身的呈现效果来实现突破。

游戏中的DLSS 5神经渲染

普通的文生图AI生成器往往产生不一致的结果,而DLSS 5的目标是通过分析结构化的视觉游戏引擎数据,并利用其训练得来的场景语义理解能力,来响应摄像机、角色、光照和环境的每时每刻变化,从而实现连贯一致的输出效果。

该模型负责处理渲染的最后阶段,为完成帧的每个像素增添逼真的光照和材质效果,用以模拟诸如光线穿透头发和树叶、光线在人体皮肤中散射以及微阴影等现象。英伟达声称,此前从未有人能在单个GPU上以毫秒级速度实现这样的效果。

这种画面逼真程度已经在游戏行业引起了广泛关注。"当应用于具有照片般写实艺术风格的游戏时,它呈现出的人物面部保真度是我在游戏画面中从未见过的。它能让游戏拥有互动电影般的质感,"PC爱好者媒体Tom's Hardware的常驻GPU分析师杰弗里·坎普曼表示。

"DLSS正在通过让电脑游戏看起来不那么像'游戏'、而更接近照片般写实的效果,来拓展电脑游戏的能力边界,"技术开发者兼计算机图形爱好者戈登·维茨施泰因说道。目前英伟达尚未公开DLSS 5底层训练数据集的详细信息,但维茨施泰因指出,与任何生成式AI模型一样,其结果质量"主要取决于训练数据的质量和多样性"。

游戏发行商似乎对这一解决方案表示支持:贝塞斯达、卡普空、网易、腾讯、育碧和华纳兄弟游戏均已签约将其整合进各自的游戏中。

并非所有玩家都对此持热情态度,部分原因在于DLSS 5需要运行在昂贵的高端GeForce RTX 50系列GPU上,这些显卡配备了强大的张量核心——英伟达硬件中专门用于驱动现代AI和深度学习运算的处理单元,即便如此,性能表现有时依然吃力。

科技媒体Digital Foundry在多套RTX 50桌面配置上测试了DLSS 5在《NBA 2K27》中的首次整合应用,将其形容为"负载非常非常沉重",测得性能下降幅度达到40%至60%。

针对这些批评,英伟达发言人告诉《IEEE Spectrum》,优化和模型改进已经"在六个月内实现了5倍的性能提升",将DLSS 5从2026年3月预览版所需的双GPU配置,"扩展缩减到发布时整个RTX 50系列产品线均可用单个GPU运行"。预计未来在年底前还将有进一步的模型更新。

DLSS 5的性能表现与帧率问题

性能问题一直是图形技术革新历史中的常见现象,例如2018年推出的实时光线追踪技术,该技术通过计算光线的运行轨迹来照亮虚拟环境。据坎普曼介绍,这项技术当时也曾导致类似的性能大幅下降,"但随着硬件世代的更新而逐步改善,如今在中低端硬件上也已经能够实现流畅运行"。

导致玩家们愤而放下手柄的不仅仅是帧率问题。DLSS 5在《生化危机:安魂曲》和《星空》等游戏中的早期预览版本曾因产生"恐怖谷"效应而受到批评,让人物面部呈现出夸张、过度美化的效果,而非真正的照片写实感。

游戏美术师和部分开发者认为,这项技术通过施加统一的AI生成美学风格,损害了不同游戏的艺术完整性和独特性。"DLSS 5带来的视觉变化,从细微之处到宏观层面都有涉及,这破坏了游戏经过精心调校的视觉连贯性、视觉意图和视觉身份,"曾与育碧和暴雪合作过的艺术家卡拉·奥尔蒂斯表示。"这种做法粗暴地贬低了美术团队多年的辛勤工作,因为它改变了团队努力实现的最终成果。"

英伟达辩称,其初衷并非取代艺术创作意图,而是提供一种带有多种开发者控制选项的可选视觉质量工具。"美术师可以在增强精细材质和光照细节的同时,减少或禁用更大范围的色彩变化。他们可以添加自定义遮罩来隔离特定道具或资产组,并在不改变周围环境的情况下应用自定义光照调整,"英伟达发言人表示。这些功能能够帮助实现"在实时渲染预算内原本难以达成的视觉目标"。

神经渲染技术目前仍是芯片制造商积极研究的领域。AMD和英特尔尚未在其GPU中实施与DLSS 5类似的技术,但它们已经在使用AI模型进行画面放大和插帧处理。而且,这两家公司以及苹果公司,都计划在未来的硬件中加入类似张量核心的矩阵运算加速器,专门针对AI工作负载进行优化。

"这表明这些技术未来将对整个行业产生重要影响,"Tom's Hardware的坎普曼说道。

Q&A

Q1:DLSS 5是什么?它能做什么?

A:DLSS 5是英伟达推出的深度学习超级采样第五代技术,采用神经渲染方法,能够实时为游戏画面的每个像素添加逼真的光照和材质效果,模拟光线穿透头发、皮肤散射等真实物理现象,让游戏画面更接近照片级写实效果。

Q2:DLSS 5对硬件配置要求高吗?

A:是的,DLSS 5设计用于在高端GeForce RTX 50系列GPU上运行,即便如此性能负载依然较重。测试显示在《NBA 2K27》中会导致40%至60%的性能下降,不过英伟达表示已通过优化在六个月内实现5倍性能提升。

Q3:DLSS 5是否会影响游戏的艺术风格?

A:部分游戏美术师和开发者担心该技术会用统一的AI生成美学取代游戏原本精心设计的视觉风格,损害艺术完整性。不过英伟达表示这只是可选工具,开发者可以通过多种控制选项调整效果,保留原本的艺术意图。

IEEE Spectrum - Computing