NVIDIA Dynamo 影子引擎恢复：大语言模型推理秒级恢复

NVIDIA Dynamo推出影子引擎恢复功能（预览版），可在LLM推理引擎进程崩溃时实现秒级恢复。该功能通过GPU内存服务（GMS）将权重生命周期与引擎进程解耦，并预先在同一GPU上保持一个完全初始化的待机引擎。测试显...