一项由穆罕默德·本·扎耶德大学研究人员主导的研究成果,推出了一种名为BiMediX2的人工智能模型,该系统能够理解并解释医学图像中的信息,并且支持英语和阿拉伯语的双语分析,尤其在处理阿拉伯语内容时表现尤为优异。
BiMediX2是首个能够用英语和阿拉伯语分析、描述医学图像的人工智能系统。该系统可以处理包括 X 射线、MRI 扫描和显微图像在内的多种医学图像,并能提供详细描述,同时回答有关图像内容的提问。该模型在医学图像的理解上,不仅提升了翻译的准确性,还显著增强了阿拉伯语的处理能力。
根据技术报告,BiMediX2在与现有技术的对比测试中表现出色,其对英文内容的翻译效果提高了9%,对阿拉伯语内容的翻译效果则提高了20%。这一成果的背后,是该团队对160万份医学文本和图像数据的海量训练,确保了两种语言之间的准确转换。
BiMediX2的优异表现得益于其底层架构的创新。该系统基于Llama3.1架构和GPT-4o,特别针对医疗领域进行了优化。通过与Vision Encoder和Meta Llama3.1的结合,BiMediX2实现了无缝的双语医学图像分析。在测试中,它在识别不正确的医疗信息方面比 GPT-4o 更具优势。
尽管 BiMediX2在性能上表现令人鼓舞,但研究人员强调,目前该系统仍然仅限于研究用途,尚未进入临床应用。与所有人工智能系统一样,BiMediX2也可能会犯错误或生成不准确的信息。因此,研究团队已在Hugging Face上发布了该模型,并推出了一个名为BiMed-MBench的双语基准,用于测试类似系统的性能。
BiMediX2是医学图像分析领域的一项重要创新,尤其在处理双语医学图像和翻译方面取得了显著进展。虽然目前尚未应用于临床,但该系统的研究成果为医疗行业带来了更高效、更准确的人工智能应用前景。