Subquadratic：超越注意力机制，下一代大语言模型架构已在路上

初创公司Subquadratic发布了基于稀疏注意力机制（SSA）的模型SubQ 1.1 Small，支持1200万token上下文窗口，计算效率比传统密集注意力机制提升近1000倍。该模型在长上下文检索任务中表现接近完...