能够生成有害内容的未审核大语言模型(ULLM)在知名模型托管网站上随处可得,这一现象让人质疑AI行业在安全承诺上的实际履行情况。

美国伊利诺伊大学厄巴纳-香槟分校与新加坡南洋理工大学的研究人员,分析了从五大主流大语言模型托管平台收集到的22096个未审核大语言模型。

在题为《开源未审核大语言模型生态系统特征研究:供应链、治理与风险》的论文中,作者Zilong Lin、Zichuan Li、Xiaojing Liao和XiaoFeng Wang发现,未审核大语言模型很容易从美国的Hugging Face、Kaggle、John Snow Labs,以及中国的OpenCSG和魔搭社区(ModelScope)等托管平台获取。

更令人担忧的是,这些不受限制的模型已经通过各类应用程序、GitHub项目以及Open Router等模型路由平台进行了部署,而这些应用或服务的使用者可能根本不清楚其底层大语言模型的真实性质。

论文解释道:"未审核大语言模型通常指那些内容过滤或拒绝响应机制缺失、被移除或被削弱的大语言模型,使其能够响应那些经过对齐的模型可能会拒绝的请求。"

论文第一作者、密苏里大学堪萨斯城分校计算机科学助理教授Zilong Lin告诉The Register,像Hugging Face这样的开源大语言模型托管平台,在开源社区中所扮演的角色,与GitHub、GitLab和Codeberg等代码托管服务类似,都是为了促成代码制品的共享、修改和再分发。

"然而,与传统软件不同的是,传统软件的行为通常可以通过源代码分析来检验,而大语言模型的安全对齐程度却很难直接从模型文件中评估,"Lin解释道。"要评估一个大语言模型是否具备足够的安全防护措施,通常需要实际部署该模型并测试其对潜在有害提示词的响应,这需要投入大量的计算和资金成本。"

Lin表示,这使得大语言模型安全性的识别和评估工作尤为困难,尤其是考虑到可用模型数量之庞大。正因如此,他和同事们选择通过公开可得的模型元数据来研究这一领域。

即便是那些号称已经"对齐"(对齐标准并非人人认同)的热门商用大语言模型,也可能对提示词给出被认定为有害的内容响应。美国政府问责办公室刚刚发布的一份报告发现,Claude、Grok、ChatGPT和Gemini都可以被诱导提供有助于策划恐怖袭击的信息。

为凸显AI建议可能带来的后果,该办公室援引新闻报道指出,生成式AI曾在2025年1月拉斯维加斯一家酒店遭遇的爆炸装置袭击事件中提供帮助,并在2026年2月加拿大不列颠哥伦比亚省一起大规模枪击案的策划过程中发挥了作用。

开放权重大语言模型存在的问题在于,任何具备一定技术能力的人(或仅仅是在一个顺从的大语言模型协助下毫无头绪地操作的人),都可以对未经安全处理的数据集应用诸如"有害训练/微调"(TTFT)或"去对齐训练/微调"(DTFT)等技术,从而生成拒绝行为被削弱或移除的模型。例如toxicqa-Llama2-13B和WizardLM-7B-Uncensored。一种被称为"拒绝方向消融"(或称abliteration,例如Daredevil-8B-abliterated)的较新技术,则通过稀释拒绝训练,使模型更不容易拒绝请求。

未审核(或仅仅是限制较少)的模型也有其正当用途,有时颇具讽刺意味的是,这恰恰是因为商用模型限制过严,连合法的安全分析请求也会被拒绝。例如,Hugging Face在分析其基础设施遭OpenAI那些缺乏监管、行为失当的AI智能体入侵一事时,就不得不转而使用规则限制较少的Z.ai的GLM-5.2模型。

但未审核大语言模型同样容易被滥用,被用来提供非法活动指导、协助开发恶意软件,或以某种方式生成有害、恶意或带有操纵性的内容。

Lin在一篇博客文章中表示:"我们发现有超过11000个未审核大语言模型出现在多个平台上,其中Hugging Face是占主导地位的上游来源。"

"这种流动现象暴露出一个重要的治理缺口:模型的传播速度要远快于评估其风险所需信息的传播速度。在我们识别出的未审核大语言模型中,只有约13%带有内容审核警示,而安全威胁指标在各平台间也未能得到一致的保留。"

"这就造成了一个供应链问题:一个模型可以被复制到不同平台,但理解其风险所需的信息却在这一过程中逐渐丢失。"

这些未审核大语言模型的评估仅针对文本输出,并未涉及图像。文本生成图像大语言模型所引发的问题,例如生成非法图像(如儿童性虐待材料)的能力,不在本次研究的范围之内。

"我们评估的未审核大语言模型普遍比未经处理的模型更容易响应有害请求并生成有害内容,"Lin说。"我们的评估涵盖了11个类别的有害请求,包括虐待儿童、非法活动和欺诈。"

"不过,单个模型生成有害内容的能力会因多种因素而有所不同,包括其训练数据、开发方法,以及其拒绝方向被消融的程度。"

在这些未审核大语言模型中,有一小部分(27个,累计下载量达13.6万次)在安全扫描中显示出威胁指标。作者表示,其中许多模型带有与恶意软件相关的特征码,表现出可疑的二进制模式,或包含可能导致任意代码执行的不安全反序列化机制。

论文显示,未审核大语言模型的数量正在快速攀升,从2023年5月每月约100个,增长到目前每月超过1000个。其中一些模型的下载量已达数百万次。未审核模型dolphin-2.9.1-yi-1.5-34b的下载量已超过5300万次,仅上个月就新增了480多万次下载。

作者指出,许多未审核大语言模型违反了其所基于模型的许可条款,不过话说回来,源代码许可对AI行业的实际行为从来也没产生过什么实质性影响。

当被问及未审核大语言模型引发的安全担忧,是否可能重演上世纪90年代当局试图限制加密代码传播的历史时,Lin表示:"很难预测模型消融工具是否会面临类似的法律挑战。"

"正如我们论文第5.1节所示,拒绝方向消融(即abliteration)技术在2024年出现,并迅速在开源大语言模型社区中流行开来。在大约两年时间里,一个支持该技术的公开工具生态系统已经形成。"

"与此同时,削弱和缓解大语言模型安全对齐的相关技术,也已成为学术界活跃的研究课题,许多研究人员发布了开源工具和研究成果以支持其研究。"

应对未审核模型带来的风险并非易事,因为这需要准确判断用户提示词背后的真实意图。一个关于恐怖主义的问题,何时是在策划袭击,何时只是为了写一部惊悚小说而寻求素材?一个关于黑客技术的问题,何时意在实施盗窃,何时只是网络安全教育的需要?

目前商业实验室所采取的做法——将强大的模型仅限于受青睐的付费内部用户使用,而向其他所有人提供能力被削弱的版本——对那些被排除在外的人而言根本不起作用。对开放权重模型施加类似的审查制度,恐怕也不会比执法部门试图让加密技术只掌握在"好人"手中的努力更为成功。

theregister.com