小米公司近期宣布了一项重大技术进展，正式开源了其声音理解大模型MiDashengLM-7B。这一模型在多模态大模型领域取得了显著成就，刷新了22个公开评测集上的最佳成绩（SOTA），并展示了业界领先的推理效率和数据吞吐能力。
MiDashengLM-7B的构建基于Xiaomi Dasheng音频编码器和Qwen2.5-Omni-7B Thinker自回归解码器，通过创新的通用音频描述训练策略，实现了对语音、环境声音及音乐的统一理解。这一能力使得模型不仅能准确捕捉并分析声音内容，还能理解其背后的情境与情感，提升了全场景智能生态的用户体验。
据悉，小米于2024年首次推出了Xiaomi Dasheng声音基座模型，而此次开源的7B模型是对该基座模型的扩展与升级。目前，该系列模型已在小米智能家居、汽车座舱等多个领域实现了超过30个应用场景的落地。
在性能表现上，MiDashengLM-7B在音频描述、声音理解、音频问答等多个任务中展现出了明显的优势。特别是在音频描述任务中，其性能超越了Qwen和Kimi等同类7B模型。在声音理解任务中，MiDashengLM-7B也仅在少数项目上略微落后于Kimi的7B模型，整体表现领先。
除了卓越的性能表现，MiDashengLM-7B在推理效率上也实现了显著提升。在单个样本推理的情形下，其首个token预测时间（TTFT）仅为Qwen2.5-Omni-7B的1/4。同时，在批次处理时，MiDashengLM-7B能够在80GB GPU上处理更大的batch size，而不会出现显存溢出的问题，从而提高了数据吞吐效率。
MiDashengLM-7B还采用了创新的训练范式，即通用音频描述对齐范式。这一范式避免了传统ASR转录数据对齐方法的局限性，能够捕捉说话人的情感、空间混响等关键声学特征，迫使模型学习音频场景的深层语义关联。这一方法的引入，使得模型能够利用几乎所有的数据，包括噪声或非语音内容，从而提高了数据利用率和模型性能。
小米表示，音频理解是构建全场景智能生态的关键领域之一。MiDashengLM-7B的推出，将进一步提升小米设备在自然语言交互方面的体验，从智能家居、智能汽车到智能手机等各个领域都能受益。未来，小米将继续致力于AI大模型领域的研究和创新，为用户提供更加智能、便捷的服务。
