AI计算、存储、网络、系统管理的协同设计，避免某个领域成为“木桶的关键短板

开源的版本包括TRT-LLM，Triton这些工具配合相应的CUDA Library。 商业化的产品级方案是使用NIM以及NeMo Microservices.

和不同层面的合作伙伴有不同的合作方式，从软件角度讲，例如基础大模型，开源的，商业化的，与MLops合作伙伴，与其他的ISV等。

需要在供电、散热、GPU内部通信、GPU运行监控等地方做足够的验证和优化，确保GPU可以工作在最佳的运行状态。

从基础设施硬件上，针对AI时代功耗挑战，目前有高密度模块化数据中心、数据中心GPU液冷等解决方案技术；从软硬件协同优化的角度，降低训练和推理的精度，如使用FP8、INT8，可以在相同吞吐下，有效降低硬件需求及系统功耗。

目前主要应用有冷板式液冷与浸没式液冷两种实现技术，其中冷板式液冷方案使用更为广泛。

我们认为，面向AI的数据存储系统需要具备容量和性能上的可扩展性、文件系统多协议的支持与互动、针对GPU的I/O优化，比如支持GPU Direct Storage，以及小文件层面的元数据优化等技术特性。

XE9680主要是面向高性能AI计算场景，如大规模的模型训练和微调，在单机和集群环境下，提供高吞吐的GPU计算性能。

优化方式是多方面的，包括RDMA，高带宽，高并发，低延时等等。

一方面通过硬件性能的提升，包括显存，通信，网络。另一方面通过模型量化。

硬件层面：提升计算与存储的网络通信带宽，采用分布式存储架构、横向扩展可以有效提升集群带宽性能；通过GPU Direct Storage提供更高的存储带宽和更低的IO延迟

NIM 包括基础大模型，CUDA, CuDNN, TRT-LLM, Triton。这些开源框架的企业级支持以及Day 0支持。

设备内部，支持多元化的AI加速芯片技术；系统层面，多元异构算力的网络与存储平台构建，以及多元AI加速芯片的集中管理和池化，都是目前的主要发力点。

我们目前采用零信任的安全机制构建我们的基础设施硬件，另外有诸如隐私计算、联邦计算、存储层面的QoS等资源隔离以及安全认证等机制保障。

Dell目前提供面向边缘计算的优化型硬件，软件调度及管理平台，以及与合作伙伴生态融合的行业场景化边缘计算解决方案。

系统层面包括硬件，软件，分布式以及资源管理等方面。监管层面每个区域，运营主体各有区别。

Omniverse, LLM, VLM，多模态等一系列技术。

最明显的区别是快速产品化并且提供企业级的支持服务，并且与市面上的主流AI服务兼容。

异构多元化、集群化、以及资源细粒度的调配与池化，是我们认为AI系统及硬件技术未来的演进。

NVIDIA拥有最广阔的AI生态。在面向企业用户提供AI 服务的过程中，NVIDIA作为软硬件工具的提供者，都是通过各方面的合作伙伴交付。

AI foundry包括算力服务，NIM以及NeMo Microservices.

我们目前可以提供，如向量数据库RAG的部署与优化、AI数据中心整体设计、GPU池化与虚拟化、AI+HPC等技术咨询与部署服务。

AI数据中心的节能设计、AI计算服务器的碳足迹追踪报告，是我们目前正在做的工作。

AI行业应用落地，以及如何解决AI产业化的算力与存力的需求，是目前AI在全球各个区域，业界关注的焦点。

https://github.com/NVIDIA/TensorRT-LLM?tab=readme-ov-file#support-matrix

算力运营变为Token运营，再变为Agent运营。

GPU 专注于计算密集型任务，CPU 则在其他方面发挥作用，两者相互补充，使得 AI 系统更加完善。