NVIDIA Nemotron 3.5 Super VL：多模态智能体新模型

NVIDIA推出开源多模态模型Nemotron 3.5 Super VL，采用120B参数MoE架构，每token激活12B参数，单GPU吞吐量较同类开源模型提升5倍，支持文本、图像、文档、视频理解，并可通过NeMo进行...

如何合理规划AI推理GPU规模与总拥有成本，避免过度投入

本文提供了一套AI推理GPU资源规模配置与总拥有成本（TCO）优化的实用框架。文章从使用场景出发，涵盖聊天机器人、AI智能体、内容生成和翻译应用等典型场景，详细梳理了模型选择、并发量、延迟指标、缓存命中率等关键配置要素。...