复古语言模型 关键字列表
"复古"大语言模型Talkie:知识停留在1930年前,会产生哪些独特价值?

"复古"大语言模型Talkie:知识停留在1930年前,会产生哪些独特价值?

三位AI研究人员发布了一款名为Talkie的130亿参数"复古"语言模型,其训练数据仅来自1930年前出版的英文书籍、报纸、期刊、科学杂志、专利及案例法。该模型旨在探索AI理解历史文化变迁、预测未来及评估长期预测方法的能力。目前Talkie性能弱于现代同架构模型,主要瓶颈在于OCR文本噪声问题。团队计划持续扩展模型规模,目标于今年夏季推出GPT-3级别版本。