用AIPerf对大语言模型推理进行规模化基准测试

AIPerf是GenAI-Perf的继任工具，采用多进程架构解决客户端GIL并发瓶颈，支持15+端点类型、Poisson等多种流量模式及生产流量回放，可精准测量TTFT、ITL等推理延迟指标。