极智AI | 解读大模型性能测试指标及测试方法

从业务角度来说是反映模型的初始响应速度，对于实时交互式应用非常重要，较低的TTFT可以提高用户体验，使用户感觉模型响应迅速；从算法推理角度来说，其实主要是在掐大模型推理的 Prefill 时间，更加准确一些的是上图中的 ...