人工智能模型、大语言模型与生物技术的快速发展，正在重塑全球安全格局。近日，兰德公司AI、安全与技术中心（CAST）主任Sella Nevo接受采访，就当前AI技术的机遇与风险分享了深度见解。
Nevo在加入兰德公司之前曾在谷歌工作，领导一支团队利用机器学习应对人道主义和全球发展挑战，包括洪水预报预警。他在信息安全领域经验丰富，尤其在AI模型权重保护方面建立了被众多前沿AI实验室广泛采用的安全标准。
AI技术的近未来突破
谈及AI的近期发展潜力，Nevo对编程领域的进步尤为期待。他表示，AI模型有望在不久的将来实现"按需生成高质量软件"的能力，能够构建更多、更优质且高度个性化的软件应用。
此外，AI在数学领域的进步也令人瞩目。Nevo认为，一旦数学发现的速度提升10倍乃至100倍，将为网络安全、材料科学等众多领域解锁大量解决方案，其意义将远超历史上任何一个重大发现时代。
网络攻击：最紧迫的现实威胁
Nevo指出，即便不是最坏的情景，眼下最紧迫的风险仍是网络攻击。AI网络攻击能力正在快速提升，且这一趋势不会停止。虽然AI同样可以增强防御方的能力，但在短期内，进攻方更可能占据优势，防御方需要时间才能跟上。
Nevo特别强调，未来一年内可能出现一个关键节点：AI模型将具备独立完成端到端网络攻击行动的能力，无需任何人工引导，即可自主渗透并攻陷整个企业网络。就在采访进行时，已有一款前沿AI模型自主入侵了一家外部公司以达成预设目标。一旦此类能力扩散至全球网络犯罪群体，当前网络犯罪的所有门槛瓶颈将被彻底打破，网络危害将达到前所未有的规模。
推动AI安全评估与政策落地
在生物安全领域，CAST的评估工作持续深化。三年前，AI模型在生物实验方面几乎无从施力；如今，模型已能够在无人工介入的情况下，与云端实验室协同完成多种潜在危险产品的设计与合成，并逐渐接近独立合成病原体的能力边界。Nevo认为，更重要的是，CAST已推动AI评估领域整体向前迈进，为政府和行业提供了如何对开源模型进行可靠、有效评估的指引，同时证明了将智能体纳入评估流程能够揭示大量此前未被检测到的潜在风险。
在数据中心安全方面，CAST向美国政府及前沿AI实验室提供了建立高度安全数据中心的建议方案，旨在使这些设施具备抵御顶级国家级攻击的能力。Nevo坦言，要抵御最强国家行为者的攻击极为困难，因为对方可能投入数十亿美元，综合运用数字、物理与内部渗透等多种手段。随着AI系统能力持续增强，保护关键AI系统的重要性将愈发凸显。
初心：源于一个13岁少年的觉醒
谈及投身这一领域的根本动力，Nevo的回答出人意料地朴实。他说，这一切并非源于对生物安全或网络安全的学术兴趣，而是来自他13岁时参加的一个支持大屠杀幸存者的项目。一个下午结束后，他从一位幸存者眼中感受到了真切的感激，第一次意识到自己今天做了一件真正有意义的事。从那时起，他便始终以"我今天能做什么有意义的事"来审视自己的选择。这种信念，最终引领他走向AI与政策交叉领域，致力于守护人类在这个技术加速时代的未来。
Q&A
Q1：CAST在AI安全评估领域做了哪些具体工作？
A：兰德公司AI、安全与技术中心（CAST）在过去三年持续开展AI能力评估工作。早期AI模型在生物实验方面能力有限，但如今模型已能无需人工介入，与云端实验室协同完成多种潜在危险产品的设计与合成，并接近独立合成病原体的能力边界。CAST还推动了AI评估方法论的发展，包括将智能体纳入评估流程以发现此前未被检测到的隐患，并为政府和行业提供了开源模型评估的指导标准。
Q2：AI技术为什么会让网络攻击变得更危险？
A：AI正在大幅降低网络攻击的技术门槛。目前，AI网络攻击能力提升迅速，已有前沿模型能够自主入侵外部企业系统。Nevo预测，未来一年内，具备独立完成端到端网络攻击能力的AI模型可能出现，无需人工操控即可攻陷整个企业网络。一旦此类能力扩散至全球网络犯罪群体，现有的技术门槛将消失，网络危害将呈现前所未有的规模。
Q3：AI模型权重保护是什么，为什么重要？
A：AI模型权重是编码了模型全部学习成果的核心数据，相当于模型的"大脑"。Sella Nevo在加入兰德公司前，曾在信息安全领域深耕AI模型权重的保护方法，并建立了一套安全标准，目前已被多家前沿AI实验室采用。保护模型权重至关重要，因为一旦泄露，外部势力便可复制或滥用这些模型，带来难以预估的安全风险。
