技术进步从根本上改变了全球信息生态系统，使其更加数字化、可获取、复杂且碎片化。人工智能（AI）处于这场变革的核心，它使信息获取民主化，并支撑着政府和企业的数据驱动决策。
自2022年以来，生成式AI，尤其是大语言模型，已使信息生态系统充斥着质量参差不齐的内容。据估计，目前新发布文章中约有50%由AI生成，而多达74%的新网页出现了合成内容。这模糊了人类生成内容与机器生成内容之间的界限，并影响了商业情报和分析的输入质量。
虚假信息与认知战
虚假信息（disinformation）是带有操纵或欺骗意图传播的，而错误信息（misinformation）同样不准确或具有误导性，但传播者本身并不知情。
两者都早于AI存在，但数字时代加剧了它们的复杂程度、规模和传播范围，推荐算法和数据的持续变现进一步加剧了这一问题。
影响力行动长期以来一直利用虚假信息，并随技术发展而演变。早期的深度伪造很容易被识破，但近期的深度伪造已足够逼真，可被用于谋取政治和经济利益。低成本、多模态的大语言模型降低了恶意行为者的准入门槛，使得文本、音频和视频虚假信息能够大规模制造。
企业面临通过供应链和市场操纵带来的风险，例如针对股价敏感新闻的协同虚假信息行动，或冒充高管的深度伪造内容。这应当引起每一个董事会的关注。
动机各不相同。一些恶意行为者可能追求勒索和欺诈，另一些则可能专注于颠覆——利用政治和社会脆弱性来削弱既有权威。
颠覆正是新兴的认知战实践的核心。虚假信息操纵叙事，而认知战则试图影响人、企业、机构和社会理解现实与做出决策的方式。
智能体AI与AI集群
智能体AI为这一威胁格局增添了复杂性。能够自主感知环境并采取行动的AI智能体，尽管存在可靠性和安全性方面的局限，正在企业、政府和军事领域迅速普及。
据估计，2025年企业中使用的智能体数量约为2860万个，预计到2030年将超过20亿个。
这种普及也引发了滥用方面的担忧。自主智能体已经部分实现了网络行动的自动化，因此原本需要深厚专业知识的攻击如今可以以机器的速度和规模独立运行。
当专业化的AI智能体在协同网络或集群中运作时，风险会进一步加剧。尽管仍处于早期阶段，这些AI集群可能通过更强的自主性、复杂性、规模和速度放大虚假信息的传播。与受规则约束的机器人不同，智能体AI一旦设定目标，可能在几乎没有人类监督的情况下实现自适应、端到端的影响力行动。
这种风险并非假设。在南加州大学一项近期研究中创建的模拟社交媒体环境里，500个AI智能体自主协调，为某位政治候选人造势。若被用于针对企业或公众人物，这类由智能体驱动的行动可能在数天内造成声誉损害，而信任的建立却需要数年时间。
双重目标：人类认知与机器认知
智能体AI将虚假信息的威胁从大规模生成和放大推向自动化和饱和化，这使得真假之间的界限愈发难以区分。生成式AI使超个性化的虚假信息成为可能，而智能体AI则可以借助用于画像分析的个人数据，大规模制造虚假共识。
这正是虚假信息可能演变为认知战的地方：人类认知可能成为现代冲突的核心目标，而自主的影响力行动将使颠覆性行动更容易发起、更难追踪。
AI集群恰好遇上了一些人所称的日益加深的认知危机——社会就基本事实达成一致的能力正在被侵蚀。科学、媒体和政府机构等传统中介机构的权威性，随着互联网和社交媒体的兴起而下降，这削弱了集体信任，使社会更容易受到虚假信息的影响。智能体AI可能精准利用这些脆弱性。
在AI时代，认知战还可以针对机器认知——即人工系统中类似于人类感知、推理和判断的过程。
随着合成数据的激增，数据投毒的风险也在增长。大语言模型的"驯化"手法可以在开放网络中植入欺骗性内容，进而进入训练数据并扭曲模型输出。此类攻击成功所需的成本很低，一项研究显示，仅需250份被投毒的文档就足以在大语言模型中植入隐藏漏洞。
即使没有蓄意操纵，模型在可信信息匮乏的领域也可能突出显示虚假信息。AI集群可以迅速用合成内容填补这类数据空白，从而在早期就扭曲公众认知。随着人类生成的数据日益稀缺，模型越来越多地基于合成数据进行训练，这带来了自我强化的错误和偏见风险，这种现象被称为模型崩溃。
有证据表明，与AI的互动可能会改变人们在有争议社会议题上的看法。
因此，AI模型成为高价值攻击目标。破坏这些模型可能同时污染机器认知和人类认知，进而损害公共和私营部门决策所必需的可靠信息和不受扭曲的判断力。当智能体AI的决策速度和规模超过人类监督能力时，这种风险会进一步加剧。
如何构建认知安全
保护信息生态系统需要一种多层次的方法，围绕两个相互关联的目标展开：保护认知安全，以及为人类和机器构建认知韧性。
在人类层面，个人、机构和社会韧性的构建需要教育、政策和监管措施。系统性的媒介与AI素养教育，加上适应性的教育改革，有助于提升批判性思维，保障人类认知安全。
组织需要建立诸如AI审计和红队测试等实践，以及在信息影响决策前进行核实的流程。对认知操纵风险的认识也很重要，例如被污染的情报、捏造的压力和被冒充的领导层。
更广泛而言，监管必须解决问责问题，并改变有利于虚假信息传播的系统性激励机制，例如虚假信息相对于真实内容更低的制作成本，以及数字平台倾向于优先考虑用户参与度而非准确性的问题。
随着AI系统成为全球认知基础设施的一部分，认知安全也必须延伸至机器层面。基于可信、经过验证的数据集训练的自主可控或内部模型，可以降低数据投毒和模型崩溃的风险。机制可解释性方面的进展——即理解模型内部运作方式的能力——将有助于更好地追踪和审计AI行为。
跨平台监测在预测虚假叙事传播方面显示出前景，而防御性AI智能体可以通过识别不太可能由人类完成的协同模式来检测虚假信息。它们还可以监测品牌声誉，在诽谤行动获得关注之前发出预警。
所有这些行动都需要一种思维方式的转变，将人类和机器认知的基础视为关键基础设施。
构建对认知威胁的韧性，既是一项治理挑战，也是一项技术挑战。这需要机构能力建设、跨领域研究、国际合作以及真正的多方利益相关者参与。
Q&A
Q1：什么是智能体AI和AI集群？它们如何被用于传播虚假信息？
A：智能体AI是指能够自主感知环境并采取行动的AI系统，AI集群则是多个专业化智能体协同运作的网络。它们可以在几乎无需人类监督的情况下自主发起适应性的、端到端的影响力行动，从而以更高的自主性、复杂性、规模和速度放大虚假信息传播，例如自动生成并协调传播虚假内容。
Q2：什么是数据投毒？它会对大语言模型造成什么影响？
A：数据投毒是指恶意行为者通过在开放网络中植入欺骗性内容，使其进入AI模型的训练数据，从而扭曲模型输出的攻击方式。研究显示，仅需250份被投毒的文档就足以在大语言模型中植入隐藏漏洞，这可能导致模型生成带偏见或错误的内容。
Q3：企业和社会应如何防范AI时代的虚假信息和认知战威胁？
A：需要建立多层次防御体系：个人和机构需加强媒介与AI素养教育；企业需实施AI审计、红队测试等安全实践；监管机构需完善问责机制；同时应发展防御性AI智能体来检测协同虚假信息模式，并对AI模型使用可信数据集训练以降低数据投毒风险。
