Token压缩 关键字列表
生成式AI使用文本图像而非纯文本作为Token的惊人创新

生成式AI使用文本图像而非纯文本作为Token的惊人创新

研究人员提出一种颠覆传统的AI设计思路:将输入文本先转换为图像,再送入AI处理,而非直接使用纯文本。这种方法基于标记化压缩的需求,因为当前大语言模型受限于标记数量限制。实验显示,通过图像压缩可实现10倍压缩率,精度达96%。虽然这种方法看似反直觉,但在处理多语言文本和提高标记效率方面展现潜力,为突破AI内存限制提供新思路。