声明:本文来自于微信公众号音乐先声，授权Soraor转载发布。
韩娱公司，正在反击AI作恶。
上周，韩国娱乐公司HYBE宣布，将与京畿北道警察局（NGPPA）合作，共同打击以HYBE艺人为对象的深度伪造(Deepfake)内容。
HYBE与NGPPA签署了一份协议，明确了合作细节，包括加快相关案件的调查进程，并在韩国设立举报热线，方便公众报告相关犯罪活动。同时，HYBE也宣布加强对深度伪造内容的监控和处理，尤其是在色情内容方面，将专门设立响应机制，尽快采取行动。
去年9月，韩国娱乐公司JYP、YG和 Cube也向使用其K-pop艺人图像创建的深度伪造视觉内容宣战。YG指出，包括（G）I-dle、NewJeans、Twice、Kwon Eun-bi和BlackPink等知名K-Pop女子组合都是深度伪造内容的受害者中的冰山一角。
近年来，深度伪造内容泛滥已成为全球关注的焦点，尤其是针对娱乐行业的恶意攻击。那么，为什么深度伪造技术会集中盯上K-Pop圈?背后隐藏着怎样的恶趣味?
困在AI色情视频里的女明星
深度伪造（DeepFake）是一种人工智能技术，依赖于深度学习技术，尤其是生成对抗网络(GAN)，来生成或篡改图像和视频。其中，GAN 由生成器和判别器组成，通过两者不断地对抗和博弈，生成器逐渐学会生成更加逼真的虚假内容，直到能够以假乱真。
借助深度伪造，可以把一个人的脸、声音、动作换到另一个视频或图片上，让它看起来像是真实发生的事情，比如让某人“说”他从未说过的话，或者“做”他从未做过的事情。
而在韩国娱乐行业，许多女明星的形象被不法分子用来制作恶搞、色情等有害内容，严重侵害了艺人的隐私和名誉。
美国网络安全公司Home Security Heroes的一份报告显示，在互联网所有深度伪造视频中，几乎98%是深度伪造色情视频，前10个专门用于深度伪造色情内容的网站上，视频总访问量到超过3亿次，总观看次数超过3000万。
报告还指出，94%的深度伪造色情内容都发生在娱乐业，其中歌手、演员分别以58%、33%占据大头。在深度伪造的色情内容中，99%的受害者是女性，仅1%为男性。
而在10个深度伪造色情网站和85个视频共享平台上的近9.6万个视频中，53% 的人是韩国歌手和演员。
在海外社交媒体Reddit上，有网友指出当搜索“K-Pop”相关的关键词就会跳出热门subreddit（讨论社区）几乎都是18禁的话题，评论简直令人作呕。
当前，深度伪造的色情内容已经蔓延到各种在线社交平台。其中，曾引发韩国恶性集体性犯罪“N号房事件”的阅后即焚APP Telegram就是重灾区，甚至有人将其命名为“新N号房事件”。
去年8月，韩国女性民友会发布一组报告，指出在社交平台Telegram的聊天群组中，只需上传熟人照片，付费后5秒钟内就能生成不雅合成图。令人震惊的是，这个聊天群的参与人数高达22.7万。
更恶心的是，一些深度伪造网站甚至列出了来自几乎每一代K-Pop的200多名女性偶像的名字，包括多个第五代K-Pop团体的成员。
去年，YG旗下女团BABYMONSTER的粉丝群体在社交平台上发声，呼吁粉丝暂时放下饭圈纷争，共同保护女艺人。他们强调，大家无论支持哪个团体，现在都应团结一致，坚决反对深度伪造色情内容的行为，今天的受害者是她们，明天可能就是其他人。尤其是BABYMONSTER的7名成员中，有4人仍是未成年人，这足以说明问题的严重性。
今年1月，韩国娱乐公司Starship因工作人员重大失误，导致官方微博转发了公司旗下K-Pop女子团体IVE成员张元英、安宥真的深度伪造内容。尽管经纪公司、粉丝群体、网友都对深度伪造内容痛斥不已，纷纷敦促相关部门迅速采取法律行动来保护受害者，并追究责任人，但深度伪造内容对女艺人的伤害却难以完全遏制，它不仅是技术滥用的恶果，更是长期以来数字空间中性别暴力与隐私侵害问题的缩影。
目前，韩国政府和相关机构在舆论压力下，已加快立法进程，以更严厉的法律打击深度伪造色情内容的制作和传播。
深度伪造为何盯上K-Pop女明星?
可以说，技术的低门槛、艺人的高曝光、社会对女性偶像的物化、法律的滞后，种种因素交织，共同催生了这场韩娱生态中的“数字性侵”。
有报道显示，在韩国，涉及深度伪造的色情案件从2022年的3725起激增到2023年的21019起。
尽管根据《关于处罚性犯罪的特殊案件法》，参与编辑、合成或处理深度伪造色情内容的个人将面临最高五年的监禁或5000万韩元的罚款，以营利为目的传播此类内容的发布者最高可被判处7年监禁。
然而，在2020年至2023年韩国对深度伪造犯罪做出的71项裁决中，只有4起案件仅因深度伪造犯罪而被判处监禁。目前还没有针对下载或观看深度伪造色情内容的法律。
这意味着，现行法律只针对深度伪造色情内容的制作和传播者进行处罚，而观看或持有这些内容的人却不受法律约束。这种法律漏洞使得“观众”可以毫无顾忌地浏览相关内容，进一步助长了非法市场的需求，也使受害者更难获得有效的法律保护。
根据Home Security Heroes统计，10大最常被深度伪造色情内容攻击的数据统计中，大部分受害者都是韩国歌手，其中一位歌手的视频数量高达1595个，而另一位韩国歌手的深度伪造视频观看量超过了561万。
2017年，在一个名为DeepFake的Reddit用户出现，伪造出了一系列女性色情电影，后来，这个词的含义逐渐扩大，不仅包括他制作的换脸视频，还指各种利用 AI 技术生成的合成内容。随后，开源工具如DeepFaceLab和Faceswap相继发布，使得用户能够更容易地创建深度伪造内容。
当下，深度伪造内容不再是一个高门槛的技术挑战，几乎任何人都能轻松、高效地制作出逼真的虚假内容。从操作难度来看，目前只需一台手机就足以制作出 AI 换脸内容，用户只需要提供提供素材并简单调整，技术本身就会完成大部分工作。
而K-Pop产业在全球范围内的广泛传播，尤其是韩国女歌手通过社交媒体与粉丝的紧密互动，创造了极高的曝光度。这种高度可见性使得她们的形象成为了深度伪造内容的理想素材。
去年3月，K-Pop女子团体ITZY成员黄礼志在一次粉丝连线活动中，意外地看到了一段自己的深度伪造的跳舞视频。当时，黄礼志的表情显然有些难以招架，既高兴又有些困惑，只能尴尬地模仿起视频中的舞蹈动作。尽管这段视频表面上似乎并无恶意，但事后，许多人表示，观看这段视频让人感到“毛骨悚然”。
如今，偶像的每一个动作、每一个表情都可能成为被恶意利用的对象。任何人只需借助技术手段，就能利用公开的艺人影像、物料，制作出极为逼真的伪造视频。这些伪造的视频不仅可能被推向公共平台，也有可能被泄露到私密场合，给偶像带来无法预见的困扰和伤害。
另一方面，韩国社会对女性偶像的极度关注和物化，加剧了这种侵犯的普遍性。
在传统的性别文化中，女性往往被视为视觉消费的对象，尤其是年轻的女歌手，她们的形象和形态经常被放大、审视和评价，使得这些女明星成为了深度伪造内容的高频目标。对她们进行深度伪造不仅能够迅速吸引眼球，其社会影响力也使得这些内容具备了更高的传播价值。
而且，大多数观看深度伪造色情的男性并不认为这种行为有道德问题。
以Home Security Heroes的1522名美国男性受访者为例，74%的人对深度伪造色情内容没有罪恶感，其中“我知道这不是真人。”（36%）、“只是我个人兴趣，这不会伤害任何人。”(30%)“深度伪造色情只是更逼真的性幻想。”(29%)“深度伪造色情和普通色情没有太大区别。”(28%)
其背后的逻辑，他们或是受名人吸引力驱使，或是“幻想满足”，希望获得更个性化、定制化的成人娱乐体验，却无视了基本道德界限，抱着轻视女性尊严的态度，这让深度伪造色情在道德和法律的空白地带肆意泛滥，进一步加深了对女性艺人的伤害与物化。
而对于经纪公司而言，考虑到影像的残留与舆论的烙印在互联网难以抹去，甚至可能成为二次网络暴力的导火索。大多时候没有办法透露深度伪造色情案件的具体细节，这也让外界难以全面了解案件的严重性和受害者所经历的困境。
由此可见，K-pop女明星成为深度伪造内容的高危群体，其背后既有深度伪造技术的隐蔽性与低门槛，也折射出部分男性对女性的轻视。
可以说，K-pop 产业高度的全球曝光度与对偶像形象的极致塑造，使得女艺人不仅是商业符号，更成为公众欲望的投射对象。再加上法律体系在应对这一新兴问题时的滞后，让女性艺人沦为网络上的玩偶，随时可以被任何人肆意操控、贬低，甚至肆无忌惮地消耗。
当技术成为“赛博照妖镜”
一个更恐怖的事实，不仅是韩国，根据去年3月英国《卫报》报道，在欧洲5个访问量最大的深度伪造内容网站上，有近4000位明星被AI换脸成色情内容的主角，5个网站三个月的浏览量就达到了1亿次。受害者包括女演员、电视明星、音乐家和YouTube网红。
去年年初，Taylor Swift的深度伪造色情图片也曾在X（原推特）上广泛传播，在平台而且被累计浏览超4700万次。据相关统计显示，当时全网已有超过9500个网站“专门制作非自愿亲密图像”。最终， X一度封锁了对斯威夫特的相关搜索，以遏制这些虚假内容的传播。
而在国内，也出现了深度伪造的相关案件，且受害者并不限于女明星，更有你我这样的普通人。
2020年，虞某一边通过传播换脸的淫秽视频来“吸粉引流”，同时通过出售“AI换脸”软件和提供所谓“AI换脸”的私人定制服务，在不到半年的时间里就获利数万元。2023年11月，杭州市萧山区人民法院判决虞某犯制作、传播淫秽物品牟利罪，判处有期徒刑七年三个月，并处罚金6万元。这也是我国首例关于“AI换脸”侵犯公民个人信息公益诉讼案的审理判决。
国内在此类案件的处理中，该封号的封号，该处罚的处罚，但利益、欲望似乎总是先于规则，而法律的步伐却往往滞后于技术变革。面对技术滥用的新型挑战，“以技术对抗技术”正成为重要的应对策略。
比如，去年推出的荣耀Magic7系列推出手机行业首个端侧AI反诈检测技术，可在识别内容是否存在AI换脸的风险。该技术还获得了2024年中国网络安全创新创业大赛最具投资价值奖。
当然，平台的责任也不应该仅仅是“亡羊补牢”，否则规则再完善，也只是落后于人性弱点的一纸空文，既拦不住逐利的黑产，也保护不了受害者的尊严。
社交平台上，依然有大量不法分子在非法网站上传不少女艺人的相关深度伪造视频内容，一些交易平台的商家不过是换了张面孔，便在规则的夹缝中继续游刃有余。
近年来，国内虽然在相关立法方面有关注这一议题，但已出台的规章制度还不具备可操作的细则和明确的处罚标准。在今年3月全国两会上，全国人大代表，TCL创始人、董事长李东生也提出了关于加强AI深度伪造欺诈管理的建议。
近几年，“技术无善恶，但却有边界”类似的话术，几乎成为每一篇关于技术滥用的报道中的口号。但技术无法为道德缺失填坑，每一帧都是施暴者的主动选择，不是算法自作主张。
当技术成为了一部分人的“赛博照妖镜”，或许我们更需要的不仅仅是更锋利的监管刀刃，也需要一场全民的精神觉醒。数字世界的“不要脸”，本质是现实人格的彻底溃烂。