数千人遭遇了由AI加持的骗子设下的网络交友陷阱。

安全研究员马修·“Zigula”·戈尔-科尔马尼克正在分析一款名为Dora的诈骗交友应用时,屏幕上突然弹出一条提示,显示他接到了Jennifer的来电。根据她的个人资料,她是一位41岁的射手座女性,红发、蓝眼,身上有穿孔饰品,喜欢音乐、恐怖电影、夜生活和运动。

戈尔-科尔马尼克接听了电话,但在视频画面中并没有看到Jennifer。他看到的是一块正在飘动的挂毯,大概是被风扇吹动的,还听到背景中有奇怪的失真声。通话结束后,“Jennifer”发消息给他说自己聊得很开心,还说“你的声音比想象中好多了”。而他的麦克风根本没有连接。

戈尔-科尔马尼克之所以会翻查Dora以及其他类似应用,是因为我此前给了他一份潜在交友诈骗应用的表格。我之所以调查这件事,是因为6月5日Anthropic做了一件不太寻常的事:这家一向守口如瓶的公司让旗下的威胁情报研究员克里斯·克龙博在名为Sleuthcon的公开网络安全会议上发表了演讲。该公司在注意到Claude上的异常活动后,发现了一个欺诈性交友应用网络:一个预付费账户每天发出超过10万次API请求。

克龙博在题为“向右滑,掏钱吧:工业化规模的AI网络色诱”的演讲中描述了一个由约28款交友应用组成的网络,其中的对话在很大程度上由自主AI人格来运行。他说,大多数聊天根本不涉及真人客服。

Anthropic此后将其调查结果发布在“检测与对抗AI滥用:2026年9月”报告的“诈骗与欺诈”部分,但发布时间是在我们花了大量时间调查该网络并试图印证这些发现之后。让我感到好奇的是,Anthropic公开谈论此事时,许多应用仍在美国两大应用商店上架,我想知道为什么它们没有被下架。

从这些应用本身来看,我注意到它们被包装成帮助人们找到聊天对象的产品。它们看起来不像Replika那样明确告知人格实为AI的陪伴类应用。例如,Dora被描述为“一款为广泛年龄段人群精心设计的交友应用……一个尊重用户、易于使用、能结识与你有共同价值观之人的空间”。另一个版本则称它是一款“为寻求真实连接的成年人打造的温暖、简单的交友应用”。Romi的描述称它“帮助你发现、连接真实的人并与之聊天”。Doni的宣传语是“开启真实的陪伴”,描述称它“帮助你与附近的单身人士建立联系”。

这个骗局的运作方式是这样的:用户大多是35岁到40岁出头的男性,他们在交友应用上配对,以为自己遇到了真实的女性。实际上只有四分之一是真人,而那个人并不是来寻找约会对象的用户,而是一名拿钱办事的零工。

这些零工受雇来通过视频真人验证,或者去关注社交媒体账号。他们甚至不自己写评论,而是从三条预先生成的回复中挑选一条来回应消息。但他们能证明自己是真人,而AI人格只能含糊其辞,给出一个看似合理的理由来解释为什么无法进行视频聊天或通话。Anthropic的报告称:“后端组件在无真人可用时伪造了点赞、访客和预录的‘视频’,并追踪哪些用户已开始怀疑自己在和机器人对话。”由于偶尔穿插着与真人的互动,一些用户开始相信他们在应用上收到的完全由AI生成的回复也来自真人。

此事涉及多家AI提供商。虽然Claude被滥用来运行自主对话人格,但报告称“一个非Anthropic的小型模型生成了零工点击选择的简短回复建议,同时负责面部吸引力评分和照片/语音审核。一个图像编辑模型生成了头像图片”。

网络诈骗已形成一个完整的生态系统,从自动化的色诱回复到虚假社交媒体账号或交友应用资料,不一而足。在许多案例中,骗子会花数月时间建立信任,然后告诉受害者自己遇到紧急情况需要经济援助。或者他们假扮投资者,要求对方把钱打入一个自己拥有的账户,而这个账户最终被证明是假的。但这不是典型的恋爱诈骗:没有虚假恋人“借”钱,也不涉及加密货币。

这些应用本身就是骗局:它们要求用户购买金币以继续互动,而金币需要真金白银。用户花钱购买金币,主要是为了继续与机器对话,却以为自己在和其他人交流。这些零工让骗局得以维持,而AI则能在金币不断流入的同时全天候维持对话。

根据Anthropic的报告,提供给AI的提示词让人格保持一致,AI的运作方式就像这些交流是“普通的角色扮演或陪伴类部署”。但AI并未被告知自己是一个骗局的一部分,因为该公司写道:“从任何一次交流内部都无法看到其变现和欺骗性质。”

尽管如此,报告称“模型自身的推理在少数情况下暴露了危害”,包括“用户透露自己身患重病或处于严重痛苦之中”的情况。即便在这些情况下,“输出仍继续维持人格设定”。

我们之所以掌握更多细节,是因为戈尔-科尔马尼克找到了整个配置的内部协议仓库,包括文件、代码以及该运作方式的文档。这份中文手册被夹带在交友应用Doni中,很可能是意外泄露的。

在协议仓库中,戈尔-科尔马尼克发现了用于监控零工的记录,以确认他们的摄像头是否开启并推流、是否能通过消息联系到他们等等。该应用还会截图并录制通话,录音会被转写,转写文本可供工作人员调取。协议仓库描述了这些零工的工作流程阶段,其中包括一个让他们互相排名的环节,以及他们的报酬如何根据通话和消息互动量、或者拉来Instagram粉丝来计算。它甚至描述了假装有人给你打过电话,以此引诱对方进入对话的流程。

“我可以证实这一点,因为这事就发生在我身上,”戈尔-科尔马尼克说。他通过Doni接到一个来电并点了接听,电话很快断开。随后来电者发消息问他,为什么凌晨一点给她打电话。而应用上清清楚楚地显示电话是她打来的。

“随机视频通话太烦人了。为了和一个可能根本不是真人、只是个聊天机器人的女人聊天,还得购买‘宝石’,这既是欺骗,也相当卑劣。”

我在远程观看Sleuthcon演讲时,截取了克龙博一张幻灯片的截图,上面有10家公司的标识。通过反向图片搜索,我辨认出了许多最终出现在Anthropic报告中的应用,包括Dora、GraceChat、Jovia、Luma和Romi。还有一些应用与这些应用的开发者相关联,比如Doni和Kira。(Anthropic在报告中还列出了其他一些应用,并称还有更多变体只能通过内部数字编号识别。我们也调查了未出现在Anthropic最终报告中的其他应用。)

6月初,几款虚假交友应用仍在Google Play商店上架:Doni、Dora、Jovia、Nalo和Romi。在苹果App Store上,我们找到了四款:Dora、GraceChat、Luma和Romi,不过Dora和GraceChat似乎并非交友应用,只是名称和标识相同的应用。据Chrome-Stats称,Doni和Jovia于9月1日从Google Play下架。

看来几乎所有应用都在Anthropic发布报告之前已从两大应用商店下架,不过有些一直上架到9月。据Chrome-Stats称,GraceChat、Luma和Romi于8月21日从苹果App Store下架。Dora现在跳转到一款电影应用。在Google Play商店,Dora、Romi、Luma和Eterna于9月3日下架,Nalo于9月7日下架。但截至9月16日,Kira仍然上架,戈尔-科尔马尼克证实它与其余应用共用同一套代码库。

Anthropic没有回应有关它如何以及何时联系谷歌和苹果处理这些应用的置评请求。但克龙博在演讲中说:“就像我们在其他平台上观察到滥用行为时所做的那样,我们已与其他服务商分享了调查信息,以便他们也能在自己的平台上采取行动。”报告称其调查结果已直接分享给苹果和谷歌。

苹果和谷歌均未立即回应有关是否下架这些应用、何时下架以及为何耗时如此之久的置评请求。谷歌也未回应有关Kira为何仍在Google Play商店上架的置评请求。Anthropic报告中列出的一个指标是“后端 managedkafka[.]heyhru-server[.]cloud[.]goog,即托管在Google Cloud上的运营方后端”。既然这些应用在该演讲后仍运行了数月,这就不禁让人质疑谷歌为何没有更早切断其基础设施访问。谷歌也未立即就此置评。

戈尔-科尔马尼克在实验室里搭建了模拟器,提取了Doni、Dora、Jovia、Kira、Nalo、Romi以及另一款我们怀疑可能属于该网络的应用的Android安装包(APK)。这样做更便于检查应用的运作方式。随后他进行了静态分析,也就是在不运行应用的情况下分析代码。他还用一款名为Frida的工具进行了一些动态分析,这是一款测试工具,允许开发者拆解应用、监控和捕获流量,并查看它们调用了哪些端点。他试图更好地了解这些应用如何运作、使用什么基础设施,以及哪些应用作为同一网络的一部分彼此关联。

虽然我们无法独立印证Anthropic在Sleuthcon演讲中的所有发现,但很快就在这些应用之间找到了关联。仅浏览应用描述就能看得很清楚。例如,Dora、Romi、Luma以及另一款名为Eterna的应用都使用同一个开发者用户名aprilsaidev。它们还使用相同的电子邮件地址、邮寄地址和电话号码。Dora、Romi和Luma还共用一个开发者身份,即一个名为“反对人口贩运联盟”的非营利组织。该联盟主席兼联合创始人珍娜·宾表示,该组织从未开发过这些应用,甚至根本不知道它们的存在。

Doni过去曾与Jovia以及一款名为Poka的应用一起出现在开发者名称iLexis Multimedia Consults之下。而Jovia和Doni共用一个香港地址和电话号码。

评论者也发现了关联。仍在上架的Kira的一位评论者写道:“满是虚假账号和假装成真实账号的付费员工。安排了一次和‘配对对象’的早餐约会——我到了地点,那个‘用户’说自己就在门外,但临时有急事。她根本不在外面(我能看到窗外)——外面没人。彻头彻尾的骗局。”

另一条评论写道:“随机视频通话太烦人了。为了和一个可能根本不是真人、只是个聊天机器人的女人聊天,还得购买‘宝石’,这既是欺骗,也相当卑劣。”这位评论者接着写道:“无限消息会很棒,真女人会很棒,在对话双方都同意的情况下能够交换联系方式也会很棒。”这位评论者还指出,配对对象的回复太快,但内容与对方实际说的话对不上。

一位评论者称Dora、Doni、GraceChat和Romi其实是同一款应用。这位评论者还描述了在冷清时段重复使用/循环播放视频的情况。另外,一位Luma评论者反映,同样的资料出现在Romi和Luma上,但并未意识到这些是同一个人在跨应用行骗。他们说这些消息读起来像大语言模型的输出。

戈尔-科尔马尼克得以确认Doni、Dora、Jovia、Kira、Nalo和Romi是相互关联的。“它们的代码完全一样,”他告诉The Verge,“而且,所有这些应用都使用相同的后端服务器架构。代码使用相同的语言。跨应用使用一些相同的API。它们肯定有关联。”

根据克龙博的演讲,Anthropic是通过分析一个单日、仅有五天历史、没有任何记录、却突然每天发出10万次以上API请求的预付费账户,才察觉到这一运作的。那时它才发现Claude被滥用来在交友应用中创建女性人格。但Claude只被用作对话层。据克龙博说,第二个模型用于生成照片,第三个模型生成表情符号和贴纸头像。这一切都是规模化进行的。报告解释说,Anthropic发现,在4月的两周时间里,有超过4700个不同的伪造AI人格与至少2.5万名不同个体互动。这两周内大约有236万条消息。

克龙博在Sleuthcon上说,Anthropic之所以能将所有应用追踪并关联起来,是因为一个语法不通的短语足够独特,可以用作指纹来检测整个网络。

克龙博说,购买行为通过应用内网页结账路由到第三方支付处理商(不是应用商店原生支付),而且尽管这些应用看起来毫不相关,它们都依赖相同的金币基础设施以及同一批第三方支付处理商。

克龙博说,当一个账户被封禁时,诈骗者很快就能恢复。他们会再创建一个账户,或者通过另一个账户获得访问权限。如果这些都行不通,他们就换一家模型提供商。他们在该网络中看到的账户都是在过去一个月内创建的。

克龙博强调,这一运作是作为一家真正的公司来搭建和运营的,有真正的工程团队,并使用包括AI编程助手在内的现代工具。他们有设计规划和设计文档、路线图、配置和结构化的应用架构,还有增长计划以及应对应用商店审核的行为。

“老练的诈骗者像经营企业一样运营,这意味着他们担心营收,也担心成本。他们利用工具来提升效率,”反诈骗应用Jacana创始人兼首席执行官、前美国特勤局网络犯罪刑事调查员泰特·贾罗说。贾罗指出,如今任何企业都在借助AI提升效率——所以网络犯罪分子也这么做并不奇怪。“这和其他做正当生意的消费公司所想的完全一样。”

Anthropic根据中文内部材料和中国的原生基础设施,将该运作归因于一个位于中国的行为体。这些应用在中国境内无法使用,在不包括中国在内的亚洲地区可以使用,但变现功能被关闭。

贾罗说,这些应用之所以构成欺诈,是因为人们在不知道服务实际是什么的情况下付费——在此案中,他们并不知道自己在和AI机器人对话。“当一家公司利用他人的不了解或不知情来赚钱时,那就是骗子、欺诈的定义,”他说。而混淆视听也是一大特征,因为正规公司通常不会试图规避管控。

这些应用本身确实试图规避管控。克龙博在演讲中说,应用在获得批准前会表现得像普通交友应用,以躲过App Store和Play Store的审核,之后开发者才会开启AI生成人格网络和金币计费。这些应用通过不同账号和开发者身份刻意隐藏彼此之间的关联。它们甚至会在内部调整代码顺序,以扰乱哈希值等简单标识符。Anthropic的报告称,应用内将支付重定向到第三方支付处理商的浏览器,可以在App Store和Play Store审核期间隐藏起来。

贾罗的应用在我审查这些应用时将其中的一些标记为诈骗,他指出用户评论是应用商店发现此类诈骗的一种途径。“我认为他们应该把评论视为信任与安全团队的一个信号。”

上述泄露的手册,也就是那个协议仓库,提供了关于这个骗局如何运作的更多细节。

“它基本上概述了这个骗局如何运作,以及他们如何让AI与人工操作员协同工作,”戈尔-科尔马尼克解释说。这份手册提到了Dora。虽然工程文档只存在于Doni中,但在协议仓库中发现的仓库文件存在于Doni、Dora、Kira、Jovia、Nalo和Romi之中。

Anthropic根据中文内部材料和中国的原生基础设施,将该运作归因于一个位于中国的行为体。戈尔-科尔马尼克指出,这些应用主要使用中国或与中国有关联的服务商:它们使用了腾讯云的消息服务和实时视频服务,内部文档存放在飞书上,模式文件注释是中文的,源代码托管在中国的代码托管服务Gitee上,而应用分析和广告归因则交给了字节跳动。

戈尔-科尔马尼克通过更改模拟器中的地理位置发现了更多情况。这些应用在中国境内无法使用,在不包括中国在内的亚洲地区可以使用,但变现功能被关闭。“只有在亚洲以外,它才作为诈骗应用运作,”他说。

贾罗说,网络犯罪分子通常会避免针对自己所在的国家,以规避执法。“所有这些活动都指向……风险是什么?风险在于他们识别出这款应用,你施加压力,然后它就被关停。”那样运营方就会损失全部收入,必须推出新应用并获取新用户,而这代价高昂。“他们在识别自己业务的风险,然后设置管控措施。”

克龙博在演讲中提到,尽管Anthropic封禁了与该网络相关的账户,并正在构建检测机制和加固默认设置,但要打击此类网络,需要应用商店、支付平台和AI实验室之间的跨行业协作。“应用还留在商店里,支付还在流动,而运营方新建一个账户的成本大约是一天,”他说。

清除诈骗者是一场需要全行业协作的持久战,但恶意行为者会继续寻找方法绕过企业设置的任何管控。遗憾的是,在这些骗局被揭穿之前,许多人已经深陷其中。

Q&A

Q1:Anthropic是如何发现这个AI交友诈骗网络的?

A:Anthropic发现一个仅有五天历史、毫无记录的预付费账户突然每天发出超过10万次API请求,由此察觉Claude被滥用于在交友应用中创建女性人格并运行对话。调查显示,4月的两周内共有超过4700个伪造AI人格与至少2.5万名用户互动,产生约236万条消息。

Q2:这些交友应用的诈骗手法是什么?

A:用户以为自己匹配到了真实女性,但只有四分之一是真人,且都是受雇完成视频验证或关注社交账号的零工。零工从三条预生成回复中选择作答,其余对话由AI人格全天候维持。应用要求购买金币才能继续聊天,用户花钱却主要在跟机器对话,应用本身就是骗局。

Q3:Anthropic将这些应用归因于谁?依据是什么?

A:Anthropic根据中文内部材料和中国原生基础设施,将其归因于一个位于中国的行为体。泄露的中文手册夹带在应用Doni中,内部文档存放在飞书,代码托管在Gitee,并使用腾讯云的消息和实时视频服务,分析和广告归因则交给字节跳动。这些应用在中国境内无法运行,在亚洲其他地区也不开启变现。

The Verge