人工智能初创公司 Cohere 的非营利研究实验室本周发布了一款多模态 “开放” AI 模型 ——Aya Vision。该实验室声称，该模型在行业内处于领先地位。
Aya Vision 能够执行多项任务，包括撰写图片说明、回答与照片相关的问题、翻译文本以及生成23种主要语言的摘要。Cohere 表示，他们通过 WhatsApp 免费提供 Aya Vision，希望能让世界各地的研究人员更方便地获取技术突破。
Cohere 在其博客中指出，尽管人工智能已经取得了显著进展，但在不同语言之间的模型表现仍存在很大差距，尤其是在涉及文本和图像的多模态任务中。“Aya Vision 的目标就是帮助缩小这一差距。”
Aya Vision 有两个版本:Aya Vision32B 和 Aya Vision8B。更为先进的 Aya Vision32B 被称为 “新边界”，在某些视觉理解基准测试中表现超越了体量为其两倍的模型，包括 Meta 的 Llama-3.290B Vision。同时，Aya Vision8B 在某些评估中表现也优于一些体量为其十倍的模型。
这两个模型在 AI 开发平台 Hugging Face 上以 Creative Commons4.0许可证的形式提供，用户需遵循 Cohere 的可接受使用附录，且不可用于商业应用。
Cohere 表示，Aya Vision 的训练采用了一种 “多样化的” 英语数据集，实验室将这些数据集翻译后，使用合成标注进行训练。合成标注是指由 AI 生成的标注，有助于模型在训练过程中理解和解释数据。尽管合成数据存在潜在缺点，但像 OpenAI 等竞争对手也在越来越多地使用合成数据来训练模型。
Cohere 指出，使用合成标注训练 Aya Vision 使得他们能够减少资源的使用，同时仍能取得竞争力的表现。“这展示了我们对效率的重视，利用更少的计算资源实现更多成果。”
为了进一步支持研究界，Cohere 还发布了一套新的基准评估工具 ——AyaVisionBench，旨在考察模型在视觉与语言结合任务中的能力，如识别两张图像的差异和将屏幕截图转换为代码。
当前，人工智能行业正面临所谓的 “评估危机”，这主要源于流行基准的广泛使用，这些基准的总分与大多数 AI 用户关心的任务的能力相关性较差。Cohere 声称，AyaVisionBench 为评估模型的跨语言和多模态理解提供了一个 “广泛且具有挑战性” 的框架。
官方博客:https://cohere.com/blog/aya-vision
划重点:
🌟 Aya Vision 模型被 Cohere 称为行业最佳，能够执行多种语言和视觉任务。
💡 Aya Vision 有两个版本，分别为32B 和8B，表现超越体量更大的竞争模型。
🔍 Cohere 还发布了新的基准评估工具 AyaVisionBench，旨在改善 AI 模型评估问题。