在数字时代，内容安全问题愈发受到重视。9月26日，OpenAI 正式推出了一款全新的多模态内容审核模型，名为 “omni-moderation-latest”。
该模型基于最新的 GPT-4o 技术，能够准确地识别检测有害文本图像。这一更新将为开发者提供强大的工具，让他们能够构建更强大的审核系统。
新模型的亮点在于，它支持对文本和图像输入进行审核，特别是在处理非英语内容时表现更加出色。
与之前的审核模型相比，“omni-moderation-latest” 不仅提高了识别的准确性，还增加了检测更多有害内容的能力。它可以对暴力、自残和性内容等多个类别进行评估，确保用户能够在一个更安全的空间中交流。
OpenAI自2022年推出内容审核 API （Moderation API ）以来，自动化审核系统需要处理的内容量和种类不断增加，尤其是随着越来越多的人工智能应用进入大规模生产阶段。如今，许多公司，例如 Grammarly 和 ElevenLabs，都在使用这一 API 来保护用户安全，防止不当内容的产生。
新模型的优势体现在多个方面:
首先，它可以进行多模态的有害内容分类，针对图像和文本的组合进行评估，识别暴力残及性相关的风险。
其次，模型新增了两类文本审核，分别是与违法和暴力相关的内容，进一步增强了审核能力。
另外，对于非英语内容的检测，准确度大幅提升测试显示在40语言中的准确率提高了42%，尤其在低资源语言上表现更为突出。
对于开发者来说，这款新的审核模型依旧是免费的内容审核 API 可以轻松接入。OpenAI 希望这项升级能让更多的者利用最新的研究成果和安全系统，为用户创造更加友好的在线体验。
官方博客:https://openai.com/index/upgrading-the-moderation-api-with-our-new-multimodal-moderation-model/
* 划重点:*
📊 新模型 “omni-moderation-latest” 基于 GPT-4o 技术，支持和图像的多模态审核。
🌍 针对40种语言的检测准确率提升42%，特别是在低资源语言上表现优异
🔒 新增两类文本审核，了对违法和暴力内容的识别能力。