声明:本文来自于微信公众号AI新榜,作者:石濑,授权Soraor转载发布。

“不要相信你现在看到的任何东西。”这是X上的一位AI圈博主在看完最近爆火的AI伪造版TED演讲发出的感慨。

image

谁还记得,一年前AI生成的视频是这样的:

生成式AI将互联网带入到了一个真假难辨的深伪时代。

“有图有真相”在过去是网友求证文字信息真实性时常引用的一句话,如今即便是图片和视频也完全有可能是AI生成的“假象”。

围绕如何分辨AI,近期社交媒体上掀起了一股AIGC内容打假热。

实战派通过小游戏练就识别AI的火眼金睛。8月5日微软总裁Brad Smith在X平台上发布了一个名叫“Real or Not?”的测试小游戏。玩法很简单,每一轮游戏有15张图片,玩家来判断哪张是AI生成的,哪张是真实的。

image

游戏地址:

https://www.realornotquiz.com/

辨别难度之高,只错一道题的游戏表现可以超过92%的玩家。

image

在实战派还停留在用肉眼“鉴AI”时,技术派寄希望于用AI打败AI。X博主“Deedy”近期利用Claude的新功能Artifacts开发了一个简易工具,通过调整图像饱和度来识别AI生成的图片,仅在X平台上就获得了超140万的浏览量。

image

工具地址:

https://claude.site/artifacts/6890e3d7-e65e-41ff-a7d4-3ccb38040b46

虽然这种检测方法很快被网友实测打假:仅凭图片的压缩迹象和色彩偏差来推断图片是否出自AI之手,这种鉴别方法存在误导性。因为类似的视觉特征可能仅仅是环境因素导致的,如光照变化或物体表面的反射效果。

image

但也从侧面体现出,随着AI生成的内容愈发逼真,越来越多真假难辨的图片和视频正在迅速占领社交媒体,“鉴AI”也因此从创作者维权、约稿插画师等小众圈层需求走向大众视野。

实际上,这种需求早已推动AI技术在识别AI生成内容方面的应用。

从文字到图片再到视频,都有相应的AI检测工具陆续问世。其中一款AI检测工具甚至在过去6个月里,用户规模从100万增长到400万,实现了盈利。这些AI检测工具靠谱吗?我们进行了一番探究。

用AI打假AI,GPTZero半年增长300万用户

生成式AI对不同内容形式的影响程度,通常与技术成熟度、市场需求和用户接受度有关。

在ChatGPT引领的这波生成式AI浪潮中,文本内容是首先取得突破的领域,也是目前AI检测工具应用较为成熟的领域。

赛道上的佼佼者——GPTZero,仅成立一年半就实现了数百万美元的收入。在过去6个月里,其用户规模从100万增长到400万,AAR(年度经常性收入)增长了500%。用户群体也从最初以教师为主,扩展到了政府采购机构、慈善机构以及招聘经理和AI训练数据标注员等。

GPTZero由普林斯顿大学生Edward Tian于2022年底创建,最初只有一个简单的功能,即根据用户输入的内容,返回该内容由AI生成的概率有多大。

image

GPTZero基本文本检测的早期UI界面

如今GPTZero的网页端已经相当完善且易用,用户直接在交互框中复制黏贴文本或上传文件,即可对文本进行AI检测。

GPTZero目前提供免费试用,但每次检测字符不能超过5000字。如需进行更长的本文检测,可以选择最低每月10美元的付费订阅服务,以获得更多的字符检测额度和功能。(体验地址:https://gptzero.me/)

image

在不超过免费试用字符的情况下,我们分别节选美国宪法、ChatGPT-4o生成的《黑神话:悟空》大闹天宫版游戏结局和《西游记》三打白骨精原文对GPTZero进行了实测。

其中,GPTZero在识别美国宪法和ChatGPT-4o生成的文本方面表现出较高的精准度。它成功识别出美国宪法为人类撰写的概率高达99%,而ChatGPT-4o生成的文本中只有几个句子有“人类影响”的痕迹。

image

美国宪法节选

得到全文检测结果后,用户还可以使用“Deep Scan(深度扫描)”功能进一步识别分析每个单句的AI含量如何。目前免费账号每天仅支持3次深度扫描。

image

ChatGPT-4o生成的《黑神话:悟空》大闹天宫版游戏结局节选

在识别中文文本上,GPTZero给出的结果相当离谱:它认为《西游记》中三打白骨精原文有75%的概率是AI生成的,但众所周知《西游记》作者吴承恩可是生活在电脑都还没有出现的明代。

image

《西游记》三打白骨精原文节选

在我们尝试进一步查看该判断的数据依据时,GPTZero直接报错,显示它不支持对该语言进行数据溯源。可见,GPTZero不合适用来检测中文文本,可能是其没有进行过相关数据训练。

此外,相关的AI数据集和抄袭匹配功能也都仅付费会员才能使用。

image

AI文本检测工具频繁翻车,赛道依旧火热

GPTZero自2023年1月正式推出以来迅速走红,重要原因在于它满足了教育界对于检测AI作弊的需求。去年10月,GPTZero还和美国教师联合会达成了一项协议,帮助教师检测由ChatGPT等大语言模型生成的学生作业。

但与此同时,GPTZero的走红也伴随着一定争议。

例如,曾有网友实测发现,GPTZero会把美国宪法误判为AI生成的文本。

image

在实际应用中,GPTZero一类的AI检测工具的准确性也备受质疑。如果教师仅依据这类工具的结果来判断学生是否利用AI进行学术造假和写作,可能会导致无辜的学生受到不公正的对待。

image

这种情况不是个例。

在AI检测工具的“猎巫”下,即便是那些写作过程中没有用到AI的学生,为了确保自己的论文能通过AI检测,也不得不开始氪金使用这类工具,识别那些可能被AI标记为“AI生成”的文本段落。

就像大模型对话类产品一样,GPTZero也在用户交互框下加了一行免责声明的小字:“This result should not be used to directly punish students.(不能依据这个结果来惩罚学生)”。

也就是说,GPTZero的检测结果仅供参考,并不能作为判断学生是否利用AI进行学术写作的最终依据。

而在国外科技媒体TechCrunch实测中,其他同类型工具AI Writing Check、Copyleaks、GPTRadar、CatchGPT和Originality.ai,准确率表现都不如GPTZero。

包括OpenAI也曾在2023年初推出了一款AI检测工具,但因检测成功率仅有26%,七个月后OpenAI就关闭了该工具。近期,《华尔街日报》报道称OpenAI已经开发出一款能够高精度识别ChatGPT生成文本的工具,但出于种种利益相关原因迟迟没有发布。

还有业内人士认为AI检测器的反向应用思路是,其难以给出高准确度判断的内容生成领域,恰好证明是更适合AI产品应用的领域,例如营销文案和广告语,包括GPTZero在内的主流识别AI检测器都出现了误判。

image

TechCrunch实测:营销类文案所有检测器都出现误判

GPTZero的检测原理中有两个重要指标:困惑度和突发性。困惑度和突发性越高,文本的“人味”就越高;与之相反,AI生成的文本往往具有较低的困惑度,可预测性更高。

此外,GPTZero的CTO Alex Cui曾透露,GPTZero之所以更准确是因为它拥有更多的数据,检测使用的大语言模型是基于开源工具构建的。

换言之,GPTZero也只是一个“套壳”产品,但它的优势在于数据。

不止文本,多模态AI检测产品正在涌现

文本检测领域已经跑出了一个GPTZero,而多模态AI内容检测的赛道才刚刚方兴未艾。

针对图片、视频和音频等内容的AI检测工具,海外已经涌现出了Hive AI、AI or Not、Nuanced等产品。

国内近期官宣内测或上线的多模态AI内容检测工具也不少。例如,创始团队有清华大学背景的瑞莱智慧(RealAI)推出了一个面向个人的产品级检测工具“尊嘟假嘟”,英文名为RealBelieve,可以让AI伪造的图像、音频和视频现出原形。

image

尊嘟假嘟视频通话实时检测内测界面,来源:36氪

无论是海外还是国内,虽然大部分AI检测产品主要服务政府机构和企业级用户,但随着大众“鉴AI”的需求日益旺盛,一些产品也开始向C端用户开放。

像AI or Not就支持个人用户检测图片和音频,界面交互使用起来也相当方便。

image

数字内容伪造检测企业“中科睿鉴”近期完成新一轮融资,目的也是将业务线从ToG拓展成ToG、B和C三条产品线,实现AI鉴伪产品的规模化。

目前,中科睿鉴已面向大众开放了文本、图像和视频检测服务。在微信小程序搜索“睿鉴AI”即可体验。

image

与文本检测一样,多模态AI内容检测工具也存在准确率不高的问题。

我们用AI伪造的TED演讲美女照片,测了测AI or Not,它认为图片“Likely Human(大概率是真人)”,如果想进一步查看更多检测信息,则需要付费开通会员。

image

最近X上也有网友尝试使用市面上的AI图像检测工具,来鉴别美国大选哈里斯的集会场面是否是AI生成的。但被人反驳说并不存在“所谓的精确的人工智能图像检测器”,因为很多用户上传检测的图片是失真的,尤其是来自压缩视频的截图。

image

生成式AI制造的深度伪造风险,仅凭AI检测工具是不足以解决的,还需要从法律和平台监管层面共同努力。

而GPTZero创始人Tian提出的AI检测愿景,也不仅仅只是提供单点的检测功能,而是通过创建一个独立的互联网检测平台,确保人类和AI生成的内容都能得到正确的归属。