QwenAudio /SenseVoice
Open-source SenseVoiceSmall model for Mandarin, Cantonese, English, Japanese, and Korean ASR, language ID, emotion recognition, and audio event detection.
★ 9,758⑂ 849👁 63⑃ 84● 266▤ 7
+5
日增长
9,758
stars
849
forks
63
watchers
84
prs
266
issues
7
releases
README
SenseVoice
「简体中文」|「English」|「日本語」
SenseVoice 是具有音频理解能力的音频基础模型,包括语音识别(ASR)、语种识别(LID)、语音情感识别(SER)和声学事件分类(AEC)或声学事件检测(AED)。本项目提供 SenseVoice 模型的介绍以及在多个任务测试集上的 benchmark,以及体验模型所需的环境安装的与推理方式。
Homepage
| 最新动态
| 性能评测
| 环境安装
| 用法教程
| 联系我们
模型仓库:modelscope,huggingface,论文
在线体验:
modelscope demo, huggingface space
已发布 checkpoint 范围: SenseVoiceSmall 支持中文、粤语、英文、日文和韩文的 ASR 与语种识别,并输出情感和音频事件标签。说话人分离是 FunASR 组合独立 FSMN-VAD 与 CAM++ 的 pipeline 能力,并非 SenseVoiceSmall checkpoint 本身的输出。
核心功能 🎯
SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测。
- 研究范围与已发布 checkpoint: 更广泛的 SenseVoice 研究描述采用超过 40 万小时数据训练并覆盖 50 多种语言;当前公开的 SenseVoiceSmall checkpoint 支持中文、粤语、英文、日文和韩文,下面的 benchmark 对比仅对应所列任务与语种。
- 富文本识别:
- 具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。
- 支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。
- 高效推理: SenseVoiceSmall 采用非自回归端到端框架,具有低延迟推理能力;具体测试条件与速度对比见下方 benchmark。
- 微调定制: 具备便捷的微调脚本与策略,方便用户根据业务场景修复长尾样本问题。
- 服务部署: 具有完整的服务部署链路,支持多并发请求,支持客户端语言有,python、c++、html、java 与 c 等。
最新动态 🔥
- 当前部署路径: 安装 funasr==1.4.14,即可使用 SenseVoice 的 Python、OpenAI 兼容服务与容器工作流。发布说明 · SenseVoice Releases
- 长音频无需 VAD: long_audio_no_vad.py 使用有界重叠窗口并保留原始 chunk 输出,小时级录音不必一次送入模型占用无界显存。运行脚本 -
- 一体化说话人标注: 更广泛的 FunASR 生态已接入 OpenMOSS/MOSS-Transcribe-Diarize,离线输出转写、时间戳和匿名说话人标签,不需要业务侧手工拼 VAD 与 speaker 模型。部署指南 -
完整版本历史请查看 Releases。
性能评测 📝
多语言语音识别
我们在开源基准数据集(包括 AISHELL-1、AISHELL-2、Wenetspeech、Librispeech 和 Common Voice)上比较了 SenseVoice 与 Whisper 的多语言语音识别性能和推理效率。在中文和粤语识别效果上,SenseVoice-Small 模型具有明显的效果优势。
情感识别
由于目前缺乏被广泛使用的情感识别测试指标和方法,我们在多个测试集的多种指标进行测试,并与近年来 Benchmark 上的多个结果进行了全面的对比。所选取的测试集同时包含中文 / 英文两种语言以及表演、影视剧、自然对话等多种风格的数据,在不进行目标数据微调的前提下,SenseVoice 能够在测试数据上达到和超过目前最佳情感识别模型的效果。
需要复现零训练的 CASIA 或 RAVDESS 结果时,请使用 SER 评测契约。该脚本直接读取 SenseVoice 原始情感标签,同时输出 UA 和 WA;不要从富文本转写结果中用字符串切分推断情感标签。
同时,我们还在测试集上对多个开源情感识别模型进行对比,结果表明,SenseVoice-Large 模型可以在几乎所有数据上都达到了最佳效果,而 SenseVoice-Small 模型同样可以在多数数据集上取得超越其他开源模型的效果。
事件检测
尽管 SenseVoice 只在语音数据上进行训练,它仍然可以作为事件检测模型进行单独使用。我们在环境音分类 ESC-50 数据集上与目前业内广泛使用的 BEATS 与 PANN 模型的效果进行了对比。SenseVoice 模型能够在这些任务上取得较好的效果,但受限于训练数据与训练方式,其事件分类效果专业的事件检测模型相比仍然有一定的差距。
推理效率
在下图所示 benchmark 设置中,SenseVoiceSmall 采用非自回归端到端架构;在参数量与 Whisper-Small 相当的情况下,其推理速度比 Whisper-Small 快 5 倍以上,比 Whisper-Large 快 15 倍。
安装依赖环境 🐍
shell
pip install -r requirements.txt
SenseVoiceSmall 示例与 FunASR 组合说话人分离路径需要 funasr=1.3.26。如果你之前已经安装过本仓库,请先执行 pip install -U "funasr=1.3.26",再重新运行 demo。
用法 🛠️
推理
使用 funasr 推理
支持常见格式音频输入。长录音必须先分段再送入编码器;下例使用 FSMN-VAD 完成分段。
使用 remote_code="./model.py" 时,升级 FunASR 包不会同步更新本地的
model.py,请同时更新仓库源码。当前时间戳格式为 timestamp=[[开始毫秒, 结束毫秒], ...],
与 words 一一对应;旧版的 [词元, 开始秒, 结束秒] 三元组不兼容 VAD 聚合。
直接调用模型的代码也需改为从 words 读取文字,参见 demo2.py。
说话人组合示例见 Speaker Diarization,已用
FunASR 1.4.15 和固定公开样本验证流程;这不是说话人准确率或真实身份识别验证。
python
from funasr import AutoModel
from funasr.utils.postprocess_utils import rich_transcription_postprocess
model_dir = "iic/SenseVoiceSmall"
model = AutoModel(
model=model_dir,
trust_remote_code=True,
remote_code="./model.py", Top issues
#339[Bug]: Unable to pull Docker image or start Docker service9 comments · 2026-08-07#215时间戳数量和字符数量不匹配【词粒度模式返回时间戳】6 comments · 2025-04-24#212CASIA 数据集 SER 性能不能复现,测试结果只有34,而不是report的706 comments · 2025-04-15#7torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 214.66 GiB.6 comments · 2024-07-05#343在edge device 中,只能使用cpu推理吗5 comments · 2026-08-18#291使用VAD + CAM++ speaker model + punctuation model 返回结果是空的5 comments · 2026-06-10#360Text doesn't match any voice clip3 comments · 2026-10-07#334Clarification: does MODEL_LICENSE §3 "reference and learning purposes only" restrict commercial use? / 关于 §3 与商用边界的确认3 comments · 2026-07-26
Discussions
#345altgo:在桌面端离线跑 SenseVoice-Small int8 做语音输入1 comments · 2026-08-24#336SenseVoice lands in Orca v1.4.159 RC: offline dictation on macOS, Linux, and Windows0 comments · 2026-07-27#335SenseVoice deployment hub: llama.cpp, ONNX CPU, and private APIs0 comments · 2026-07-26#333runtime-llamacpp-v0.1.9: complete packages and safe source snapshot0 comments · 2026-07-24#318MyVoiceTyping: a local-first Chinese voice typing app powered by SenseVoice/FunASR1 comments · 2026-07-16
Latest release
FunASR llama.cpp runtime v0.2.1 runtime-llamacpp-v0.2.1 2026-08-27Prebuilt self-contained binaries for the FunASR llama.cpp / GGUF runtime, including SenseVoice, Fun-ASR-Nano, and Paraformer with built-in FSMN-VAD. v0.2.1 - Fixes Vulkan selection when a requested device is reported as an integrated GPU (GGML_BACKEND_DEVICE_TYPE_IGPU). - Prefers a matching discrete GPU and falls back to a matching integrated GPU. - Provides nine desktop archives for Linux, macOS, and Windows, including Vulkan and Windows CUDA variants. - The Windows Vulkan package is ready for Radeon 780M retesting. This selector fix does not claim to resolve the separate Radeon RX 9070 XT