英国大型超市连锁品牌塞恩斯伯里(Sainsbury's)旗下一家门店因AI人脸识别系统错误地将一名顾客认定为惯犯并将其驱逐出店,目前已暂停该门店的AI人脸扫描功能。
"我当时又尴尬又羞愤,感到既屈辱又无助。"46岁的喜剧活动策划人马特·阿诺德(Matt Arnold)如此描述这段亲身经历。
事发地点位于伦敦东南部的东杜尔维奇(East Dulwich)。当时,阿诺德正在为隔壁达尔维奇哈姆雷特足球俱乐部举办的脱口秀活动采购物资。他扫描了商品并刷了会员卡后,两名店长走上前来,以"此前发生过事故"为由拒绝为其结账,并要求他离开门店。
"他们直接告诉我要把我送出去,"阿诺德说,"我当时坚持自己走,不想被人押着出去,想保留一点尊严。在这一点上,他们倒是妥协了。"
走出门店时,他注意到头顶的监控屏幕上出现了警报提示,一个红圈正圈着他的脸。他请求店员将购物车保留,以便他的朋友随后进来结账取货——毕竟脱口秀演出就在隔壁,马上就要开始了。
"他们对此似乎有些困惑,但还是答应了。大约五分钟后,我的同事戴夫进去结了账,把东西都取走了。整个过程中,店员们没有任何停下来思考的迹象,没有人意识到一个真正的惯犯根本不会这样行事,只是在盲目地执行机器的指令。"
事发次日,塞恩斯伯里总部向阿诺德致歉,并宣布在该门店暂停使用由Facewatch提供的AI辅助人脸识别技术,同时启动内部调查。但阿诺德认为,该技术应在所有门店全面叫停,并对AI在社会中的广泛应用表示忧虑。
"任何人都可能遭受这种错误指控,而这迟早会落到某个脆弱的群体身上,比如有焦虑症等心理健康问题的人,这几乎是必然的,"他说,"我也很担心,如果这种事发生在年轻人或那些不善于或无力为自己发声的人身上,会对他们的自信心造成多大的打击。"
塞恩斯伯里此前一直借助人脸识别技术识别惯犯及其他不法人员,官方表示此举是为了保护员工免遭侵害。然而,这项技术已多次出现问题。去年9月,另一名顾客沃伦·拉贾(Warren Rajah)在伦敦南部象堡(Elephant and Castle)的一家门店内,同样被Facewatch系统错误识别并被要求离开。此外,类似事件也曾在Home Bargains和B&M等零售门店相继发生。
阿诺德表示:"塞恩斯伯里,以及所有使用Facewatch的企业,都应立即停用该系统,至少在能够确保系统万无一失之前应如此。他们已宣布暂停东杜尔维奇门店的人脸识别功能,但这是一套集中部署的系统——既然东杜尔维奇可能存在问题,不论是AI本身还是实施层面的问题,为什么不在所有门店一并暂停?"
他还对AI在社会中的蔓延趋势表示担忧:"我不喜欢监控文化,但我理解它在某些情况下的必要性。真正没有必要的,是让机器做出决定,然后强迫人类不加思考地去执行。"
塞恩斯伯里发言人回应称:"我们已联系阿诺德先生,就他在达尔维奇超市的遭遇致以诚挚歉意。此次事件系人为失误所致,并非人脸识别技术本身的问题。Facewatch系统的识别准确率高达99.98%,且每一条匹配结果均由经过专业培训的管理人员审核,请顾客放心。"
Facewatch发言人同样表示,此次事件并非技术故障所致。"系统发出了准确的识别警报,但随后在门店处理过程中出现了人为失误。"
该公司表示,暂停某一门店的使用是一项"预防性措施",旨在在员工接受补充培训期间防止出现进一步的误报。
塞恩斯伯里方面还表示,警报信息会在员工设备上显示最多一小时,且所有误识别事件均有记录存档。
Q&A
Q1:Facewatch人脸识别系统的识别准确率是多少?
A:根据塞恩斯伯里官方回应,Facewatch系统的识别准确率为99.98%,且每一条匹配结果都需要由经过专业培训的管理人员进行人工审核后才会采取行动。但此次事件表明,即便系统本身发出了"正确"的警报,后续的人工处理环节仍可能出现失误,导致无辜顾客遭受错误对待。
Q2:马特·阿诺德被误认为惯犯后,塞恩斯伯里做了哪些处理?
A:事发次日,塞恩斯伯里总部主动联系阿诺德并正式道歉。同时宣布暂停事发的东杜尔维奇门店的Facewatch人脸识别功能,并展开内部调查。此外,该公司表示将对相关员工进行补充培训。但阿诺德认为,仅暂停一家门店远远不够,应在所有使用该系统的门店全面叫停。
Q3:英国还有哪些零售商使用了Facewatch人脸识别技术?
A:除塞恩斯伯里外,英国零售商Home Bargains和B&M也曾使用Facewatch人脸识别技术,且均发生过类似的误识别事件,导致无辜顾客被错误驱逐出店。这说明该技术在多家零售商的实际应用中均存在一定问题,并非个例。
