
为压低时延,实时语音模型往往牺牲推理深度,智商衰减。Qwen-Audio-3.0-Realtime 针对日常对话、简单问答等对时延敏感的场景,可直接生成回复,毫秒级响应。在考验 "AI 会不会答 " 的语音问答基准 VoiceBench 上,以书面化的标准 prompt 和口语化的 prompt 提问,Plus 版本得分分别为 92.5 和 90.5,仅下降 2.0 ——意味着模型能扛住真人说话的随意性。在更难的多轮音频对话挑战 AudioMultiChallenge 基准测试中,Flash 版本标准和口语化 prompt 得分分别为 43.6 和 38.1,仅下降 5.5。今年 5 月,模型的 Preview 版本 Fun-Realtime-Audiochat 在 " 语音推理能力 " 指标上曾以 97.6% 登顶 Artificial Analysis。
文本大模型的 Agent 能力已相当成熟,但语音模型往往是 " 能聊天不能办事 ",模型要边听边判断何时该调工具,往往需要用户明显说出 " 帮我打开 XX"" 才能触发工具,且切回闲聊后,容易出现上下文断裂。Qwen-Audio-3.0-Realtime 无需明确的指令,即可自行调用外部工具,调用结果还会自动融入对话记忆,一次调用的结果会被记住,后面几轮追问都能接着用。例如用户先问 " 附近有什么川菜馆 ",再追问 " 评分 4.5 以上的哪家最近 ",模型会自动衔接地图工具的上一次返回结果继续检索。模型基于 FunctionCall 标准协议,可以完成 MCP、API、知识库的引入。
共情对话是本版本最能改变用户主观体验的部分。Qwen-Audio-3.0-Realtime 摆脱了传统语音助手的机械感,可根据对话语境动态调整语气、节奏、音调与情感,比如在辩论场景中,模型能准确抓取对方论点并快速组织反驳,并保持恰当的语气强度。在情感陪伴中,则通过语调、节奏与笑声、叹息、犹豫等副语言信号进行共情回应。在专门考 "AI 说得像不像人 " 的 S2S 语音指令遵循公开基准 VStyle 上,模型取得 SOTA 成绩。
双工交互流畅度意为即模型能边说边听,像真人一样随时打断、插话,而非一问一答的对讲机模式。Qwen-Audio-3.0-Realtime 内置 " 多模态感知的双工控制 " 子模型,通过分析音频信号、语义内容与说话人声纹特征,来判断如何交谈。比如在餐厅、开放工区等嘈杂环境中,它不会被背景噪声误打断;在多人讨论中能锁定主对话对象、忽略旁听者交谈;在多说话人切换时,则能根据语义线索自然过渡。因此,今年 5 月,模型的 Preview 版本在对话流畅度指标上曾以 97.6% 登顶 Artificial Analysis。此外,模型的 API 还预留了 audio_prompt 字段,用户可上传提前录制的音频样本,锁定声纹,聚焦特定的说话人。
上述能力的提升源于模型采用的 On-Policy Distillation(在线策略蒸馏)框架。研究团队将文本大模型的完整推理能力蒸馏至语音模型——语音模型一边自己生成回答、一边由文本大模型实时纠正。同时引入多教师蒸馏策略:口语多轮偏好教师保障口语化表达与指令遵循,通用教师负责基础问答与推理,Agentic 教师锁定工具调用与复杂任务,音频理解教师处理副语言与音频语义信息,确保模型在四条主线上均不偏科。