书商们开始怀疑,AI公司正在大规模采购稀有书籍,随后将其销毁,仅仅是为了提取其中的文字内容用于模型训练。

对于真正热爱旧书的人来说,这种做法令人痛心。那些泛黄、脆弱的书页,承载着人类最早试图理解世界的记录,如今却可能被送进碎纸机,书页被撕下、扫描、丢弃。这是目前最廉价、最快速的扫描方式,而AI公司正竞相通过训练高质量长文本来提升模型能力,书籍正是这类内容的重要来源。书籍爱好者担忧,书籍销毁的实际规模远超目前的报道,部分实体书可能将永久消失。

令人痛惜的是,这一切本可以避免。

谷歌早在2009年就申请了一项无损书籍扫描技术的专利,AI公司完全可以采用这一方案——前提是愿意放慢速度并为此投入资源。不过,这项技术也并非无懈可击:研究发现,书页的弯曲弧度可能导致文字变形,部分页面也可能被遗漏。据《连线》杂志报道,操作员动作过快时还会出现失误,例如手部遮挡页面内容。

综合成本与速度方面的考量,谷歌的方案对那些寻求最低成本、最高效率的AI公司而言吸引力有限。而且对于珍稀书籍的处理,这一方法也未必是最佳选择。长期协助图书馆保存馆藏的互联网档案馆深知,扫描古籍需要时间与耐心,必须尽量减少对书籍的接触,这也是为什么这项工作被视为极具人文关怀的职业。

对于一心寻找捷径的AI公司来说,互联网档案馆的做法或许显得格格不入。

但对于那些在"AI毁书"传言中感到忧虑的书籍爱好者而言,互联网档案馆2021年发布的一篇文章或许能带来些许慰藉。文章介绍了该机构如何以不损伤珍贵稀有书籍的方式进行扫描。自2010年起便在档案馆担任书籍扫描员的张艾丽莎(Eliza Zhang)在文中分享了她为何如此热爱这种"费力"的扫描方式。

文章提到,互联网档案馆也曾尝试过自动化扫描,甚至测试了"配备真空吸附翻页装置的商业书籍扫描仪"。然而结果证明,这类自动化设备对于质地脆弱的书籍、珍稀版本及其他特殊馆藏效果不佳,而这些恰恰是合作图书馆委托档案馆数字化的主要对象。

张艾丽莎表示,这份工作需要高度专注,因为"年代久远、质地脆弱的书籍"往往"薄如蝉翼"。负责档案馆书籍扫描运营的安德烈亚·米尔斯(Andrea Mills)在文中解释道,"干净、干燥的人手才是翻页的最佳工具"。

为了确保每本珍稀书籍只需经历一次扫描,张艾丽莎始终不急不躁。每次翻页时,她都用脚踏板轻轻抬起扫描玻璃板,仔细调整摄像头角度,确认页面清晰可读。遇到折叠插页时,她还会专门做好标记,提醒自己返回补扫,以免在记录正文的同时遗漏附加内容。

Q&A

Q1:AI公司为什么要销毁书籍来训练模型?

A:AI公司销毁书籍是因为这是目前扫描大量书籍最廉价、最快速的方式。训练大语言模型需要高质量的长文本内容,而书籍正是这类内容的重要来源。将书页撕下后直接扫描,比非破坏性扫描方式效率更高、成本更低,因此一些公司选择了这条"捷径"。

Q2:谷歌的无损书籍扫描技术为什么没有被AI公司广泛采用?

A:谷歌2009年申请专利的无损扫描技术虽然可以避免损毁书籍,但存在明显局限:书页弯曲弧度可能导致文字变形、部分页面可能被遗漏,操作员动作过快时还会出现手部遮挡页面等失误。更重要的是,这种方式在成本和速度上不占优势,对于寻求最低成本、快速扫描数百万册书籍的AI公司来说吸引力不足。

Q3:互联网档案馆是如何在不损伤书籍的情况下进行扫描的?

A:互联网档案馆采用人工扫描方式,强调用干净、干燥的双手轻柔翻页。扫描员每次翻页都用脚踏板抬起扫描玻璃板,仔细调整摄像头并确认页面清晰。遇到折叠插页时还会单独标注,确保附加内容不被遗漏。这种方式虽然耗时,但能保证每本珍稀书籍只需经历一次扫描过程,最大程度减少对书籍的损伤。

ArsTechnica - AI