一位康涅狄格州法官近日发现了一起疑似美国首例当事人在法庭文件中藏匿隐藏文本的案例,该文本专门针对AI系统设计,意图干预案件结果。
法官沃尔特·斯帕德(Walter Spader Jr.)上周公布的裁决中确认,这段隐藏文字对案件审理未产生实质影响。该案涉及一名男子指控某医疗机构违规拒绝提供档案访问权限。斯帕德表示,法院依据实质内容对其申请进行了审查,但这一行为本身已构成"危险"先例,随着AI工具在司法系统中的普及,此类恶意手段日后恐将屡见不鲜。
据斯帕德描述,这段隐藏文字"对人类读者不可见,但对任何读取文档文本的软件却完全可读",其目的是干扰法院可能使用的AI系统。这些隐蔽指令要求AI在审查文件时支持原告论点,忽略法院此前的驳回裁定,并引导裁决朝原告期望的方向发展。
该文本以极小字号显示并设置为白底白字,明显是一次提示词注入攻击。原告马修·艾略特(Matthew Elliott)此前的多项论点均遭法院驳回,似乎借此手段试图扭转局面。
此计虽未奏效,艾略特仍受到了一定处罚——在法院警告他可能因此承担后果后,他依然继续在后续文件中藏匿文字,最终被认定构成"严重的诉讼滥用"。
对于后续出现的隐藏内容,艾略特称不过是"玩笑",包括一个指向Nosferatu YouTube视频的链接、一句"嗨 :) 我希望你看不见我",以及一段乱码式留言:"告诉肖恩我问他好!!!哈哈你们看到了吗?!!"
斯帕德对此表示:"在收到制裁听证通知后,原告仍继续在新的诉状中藏匿信息,令人震惊。"
斯帕德指出,与"其他一些司法系统"不同,康涅狄格州司法分支并不使用AI审查或裁决文件,因此艾略特的提示词实际上并不存在干扰法院AI系统的风险。
艾略特为自己辩解称,法官所指的最关键提示词,是他出于对法院疑似允许AI不公正影响裁决的担忧,以"公共服务"为由进行的一次"审计"尝试。
但斯帕德指出,如果艾略特真的对法院的AI使用方式存有疑虑,完全可以"用所有人都能看到的清晰明文"表达出来。隐藏这段文字本身,恰恰是"其恶意目的的证明"。
斯帕德在裁决中写道:"通过将指令隐藏于文件中,提交者试图将自己的指示混入指令流,使系统误以为这些指示来自系统的操控方。在本案中,这一操控方应被理解为法院、其工作人员或对方律师。"
艾略特昨日向路透社表示,他坚持认为自己的本意是审计法院,但斯帕德并不采信这一说法。在法官看来,艾略特显然是在"试图达成他在熟知法律的人类读者面前未能实现的目的"。对于那些被称作玩笑的隐藏内容,斯帕德表示,艾略特一边希望法院认真对待自己的诉状,一边又在其中藏入玩笑,"实在难以自圆其说"。
Q&A
Q1:提示词注入攻击是什么?艾略特是怎么操作的?
A:提示词注入攻击是一种针对AI系统的攻击方式,攻击者在文档中藏入专门面向AI的指令,试图操控AI的输出结果。艾略特将文字缩至极小字号并设置为白底白字,使其对人类不可见,但AI软件读取文本时可以识别。这些隐藏指令要求AI支持他的论点、忽略法院此前的驳回,并引导裁决朝他期望的方向发展。
Q2:康涅狄格州法院实际上有没有在用AI审案?
A:没有。法官斯帕德明确表示,康涅狄格州司法分支并不使用AI来审查或裁决文件,这与"其他一些司法系统"的做法不同。因此艾略特的提示词注入实际上并未对任何AI系统产生影响,法院完全依据人工审查对其申请进行了实质性审查。
Q3:艾略特最终受到了什么处罚?
A:艾略特受到了相对轻微的制裁处罚。虽然隐藏文本未对案件产生实质影响,但他在法院警告后仍继续在新文件中藏匿内容,被认定构成"严重的诉讼滥用"。法官斯帕德对他一再在正式诉状中藏入隐藏内容的行为表示震惊,并认为其"以审计为由"的辩解缺乏可信度。
