AI聊天机器人的热度节节攀升,ChatGPT是目前最广为人知的产品,而Gemini近年来也获得了越来越多用户的青睐。两款产品在文本处理方面都表现出色,但随着多模态时代的到来,用摄像头帮助AI识别物体已成为越来越普遍的使用场景。
ChatGPT和Gemini Flash近期均在多模态能力上进行了升级。距离上一次测试Gemini Live的视觉AI识别能力已经过去了相当长的时间,因此本文选取了这个时间节点,重新评估Gemini的实力,并与全球最受欢迎的AI聊天机器人ChatGPT展开横向比较。
以下测试难度适中,旨在考察ChatGPT和Gemini对现实世界的"视觉理解"能力。为保证测试的一致性,本文统一使用照片而非实时视频,并向两款产品上传相同的照片,同时配以完全一致的提示词。
测试一:手写文字识别
作为第一个测试,笔者在Boox Note Air 5C的笔记应用上用手写笔快速潦草地写下一段文字,内容摘自阿瑟·柯南·道尔的《巴斯克维尔的猎犬》中的随机片段:
"'沿着这条荒原小路走上一段,就到了梅里皮特庄园,'他说。'或许您能抽出一个小时,让我有幸将您介绍给我妹妹。'我的第一个念头是应该留在亨利爵士身边。但随后我想到了那堆文件和账单——"(由于空间不足,句子未能写完。)
ChatGPT在这道题上失利。第一行"沿着这条荒原小路走到梅里皮特庄园"被误读得面目全非,ChatGPT将其识别为"A moment will always this moment — [Henry's?] to Merritt House",与原文相差甚远。其分析认为,手写内容是关于一段涉及Henry、亨利爵士和作者妹妹的记忆,并指出部分词语难以辨认,对不确定的词汇使用了括号标注。
Gemini则表现出色,不仅一字不差地还原了潦草的手写内容,还准确识别出了文字来源,甚至对笔迹特征进行了具体描述,例如"y、g、f等字母上的开放式圆弧形笔画"。
Gemini能够正确识别来源,这或许也对转录准确率有所助益。但无论如何,与ChatGPT相比,两者的差距可谓天壤之别。
测试二:国际象棋棋局分析
第二个测试旨在了解两款产品如何解读一盘正在进行中的国际象棋对局。笔者从电竞世界杯的YouTube频道截取了一张棋局照片,并向Gemini和ChatGPT分别提问:黑方的下一步最佳棋着是什么?
笔者虽非象棋专家,但Gemini的回答条理清晰、分析详尽,最终给出的答案是Bxf4。
ChatGPT的回应方式则有所不同。在思考过程中,有一行显示它"安装了象棋库并搜索了本地Stockfish引擎"——Stockfish是一款用于计算棋着的开源象棋引擎。然而,ChatGPT花费了超过4分钟才给出最终答案:c5到d4,并将Bxf4列为次优选项,与Gemini的推荐一致。
为寻求第三方视角,笔者将同一张图片连同原始提示词,以及Gemini和ChatGPT各自的回答,一并提交给Claude进行评估。Claude的结论是:Gemini对棋盘的判读存在错误,ChatGPT的答案更为准确。
测试三:捕蝇草品种鉴定
第三个测试的对象是笔者自己养的一株捕蝇草。笔者要求两款产品识别这株捕蝇草的具体品种(实际上是一株"巨人塔"品种),并分析其中一个捕虫夹变黑的原因。这道题有一定难度,因为大多数捕蝇草外形相近,不易区分。
Gemini未能识别出正确的品种名称,但这在意料之中。关于变黑的捕虫夹,Gemini列举了多种可能原因,其中包括正确答案:该捕虫夹试图消化一只体型过大的昆虫。
ChatGPT给出了类似但更为详细的回答。它坦言无法确定具体的栽培品种,但提供了更多关于捕虫夹变黑的分析,还附上了"我的建议"部分,给出了一些实用的养护提示。
总体而言,两款产品的回答均属中规中矩,但ChatGPT更为详尽的回答让它在这一轮胜出。
测试四:艺术品与电影识别
这是一个颇为有趣的测试:笔者拍摄了三幅手绘艺术品,内容呈现的是电影《女巫也疯狂》中桑德森三姐妹的嘴型。这些手绘作品来自一位艺术家,并非官方电影周边。
ChatGPT未能识别出电影来源,但准确描述了图片内容:"三幅钻石形状的画作,看起来像是定制艺术品。"它请求提供更多信息(如电影的拍摄年份)来辅助识别。
Gemini则轻松识别出了内容,并回答道:"这幅艺术品展现的是迪士尼1993年电影《女巫也疯狂》中桑德森三姐妹标志性的笑容。"随后,Gemini进一步介绍了各角色所在位置及对应的出演女演员信息。
综合评价
尽管在捕蝇草测试中笔者更青睐ChatGPT的回答,但Gemini在手写文字和艺术品识别测试中展现出的稳定性与准确性,使其整体表现更胜一筹。由于象棋测试未能获得专家的权威点评,该项结果暂不计入最终评分。
总而言之,如果您正在寻找一款能够更准确地"看懂"并描述现实世界的AI聊天机器人,Gemini在大多数情况下是更优的选择。
Q&A
Q1:ChatGPT和Gemini哪个视觉识别能力更强?
A:根据本次测试,Gemini整体表现更优。在手写文字识别和艺术品/电影识别两项测试中,Gemini均大幅领先ChatGPT,尤其是手写文字测试中做到了逐字还原并识别出文字来源。ChatGPT仅在捕蝇草识别测试中表现略胜一筹,提供了更为详尽的养护建议。
Q2:Gemini是如何识别手写文字的?它比ChatGPT强在哪里?
A:Gemini不仅能逐字还原潦草的手写内容,还能识别出文字来源(《巴斯克维尔的猎犬》),并描述具体的笔迹特征,如字母的开放式圆弧笔画。相比之下,ChatGPT的识别结果与原文偏差较大,甚至将整句话误读得面目全非,两者差距十分明显。
Q3:Gemini在电影艺术品识别测试中是怎么做到的?
A:Gemini通过分析三幅手绘艺术品中的图像特征,准确识别出内容来自迪士尼1993年电影《女巫也疯狂》中桑德森三姐妹的标志性笑容,并进一步说明了各角色位置及对应的出演女演员。ChatGPT则未能识别出电影来源,仅描述了图片的基本外观。
