近日,小米大模型团队在音频推理领域的研究中取得了突破性进展,成功应用强化学习算法于多模态音频理解任务,准确率达到了64.5%,这一成就使其在国际权威的 MMAU 音频理解评测中夺得了第一名。这一成果的背后,离不开团队对 DeepSeek-R1的启发。

MMAU(Massive Multi-Task Audio Understanding and Reasoning)评测集是衡量音频推理能力的重要标准,通过对包含语音、环境声和音乐的多种音频样本进行分析,测试模型在复杂推理任务中的表现。人类专家的准确率为82.23%,而当前榜单上表现最好的模型是 OpenAI 的 GPT-4o,准确率为57.3%。在这样的背景下,小米团队的成绩尤为引人注目。

image

在团队的实验中,他们采用了 DeepSeek-R1的 Group Relative Policy Optimization(GRPO)方法,该方法通过 “试错 - 奖励” 的机制,使得模型能自主演化,展现出类似于人类的反思和推理能力。值得注意的是,在强化学习的支持下,即便只使用了3.8万条训练样本,小米团队的模型仍然能够在 MMAU 评测集上取得64.5% 的准确率,比当前的第一名高出近10个百分点。

此外,实验还发现,传统的显式思维链输出方式反而会导致模型准确率下降,显示出隐式推理在训练中的优势。尽管取得了显著的成绩,但小米团队仍然意识到,距离人类专家的水平还有一段距离。团队表示将继续优化强化学习策略,以期实现更好的推理能力。

这项研究的成功,不仅展示了强化学习在音频理解领域的潜力,也为未来的智能听觉时代铺平了道路。随着机器不仅能 “听见” 声音,还能 “听懂” 其背后的因果逻辑,智能音频技术将迎来新的发展机遇。小米团队还将开源训练代码和模型参数,以便于学术界和产业界的进一步研究与交流。

训练代码:https://github.com/xiaomi-research/r1-aqa

模型参数:https://huggingface.co/mispeech/r1-aqa

技术报告:https://arxiv.org/abs/2503.11197

交互 Demo:https://120.48.108.147:7860/