协同设计AI模型注意力机制以实现快速交互式长上下文推理

随着智能体和长上下文工作负载的普及，注意力机制已成为推理时延的主要瓶颈。本文从分组大小（G）、头维度（Hsz）和序列长度三个维度，系统分析了密集注意力在预填充和解码阶段的性能特征，并结合GPU并行化策略，提炼出四条协同设...