TurboQuant：通过极致压缩重新定义AI效率

我们推出了一套基于理论的先进量化算法，能够为大型语言模型和向量搜索引擎实现大规模压缩。TurboQuant通过零内存开销实现高达6倍的键值缓存压缩，在保持模型精度的同时将向量压缩至3位，显著提升了AI模型的运行速度和内存...