ReplaySSM：重新设计状态存储加速混合模型解码

NVIDIA与普林斯顿Dao AI Lab联合提出ReplaySSM，通过将SSM状态表示为检查点加输入缓冲区的形式，解决SSM层解码的内存带宽瓶颈、投机解码回滚及量化误差累积三大问题。在batch size 256下，...