LIVE INDEX / 最新文章
解锁长文推理效率:首尔国立大学和成均馆大学开发的"推理路径压缩"技术让LLM思考更快更省资源

解锁长文推理效率:首尔国立大学和成均馆大学开发的"推理路径压缩"技术让LLM思考更快更省资源

首尔国立大学和成均馆大学的研究者提出了"推理路径压缩"(RPC)技术,一种无需训练的方法,能够对大语言模型在推理过程中生成的冗余内容进行压缩。研究发现推理路径存在"语义稀疏性"——大量重复或多余的内容。RPC通过定期评估...