IBM发布vLLM-Hook MIA：加速AI可解释性与运行时控制

IBM发布推理引擎插件vLLM-Hook MIA，可在不关闭vLLM图回放模式的前提下，对LLM内部状态进行实时监控与干预。测试显示，该插件比前代快20倍，对8B模型推理延迟仅增加2%，可用于拦截恶意提示、标记幻觉及调整...

用AIPerf对大语言模型推理进行规模化基准测试

AIPerf是GenAI-Perf的继任工具，采用多进程架构解决客户端GIL并发瓶颈，支持15+端点类型、Poisson等多种流量模式及生产流量回放，可精准测量TTFT、ITL等推理延迟指标。