QwenAudio /SenseVoice

Open-source SenseVoiceSmall model for Mandarin, Cantonese, English, Japanese, and Korean ASR, language ID, emotion recognition, and audio event detection.

★ 9,758⑂ 849👁 63⑃ 84● 266▤ 7
下载:FunASR llama.cpp runtime v0.2.1runtime-llamacpp-v0.2.1 ↓0.2.12026-08-27
+5
日增长
9,758
stars
849
forks
63
watchers
84
prs
266
issues
7
releases

README

SenseVoice

「简体中文」|「English」|「日本語」

SenseVoice 是具有音频理解能力的音频基础模型,包括语音识别(ASR)、语种识别(LID)、语音情感识别(SER)和声学事件分类(AEC)或声学事件检测(AED)。本项目提供 SenseVoice 模型的介绍以及在多个任务测试集上的 benchmark,以及体验模型所需的环境安装的与推理方式。

  



  

 Homepage 
| 最新动态 
| 性能评测 
| 环境安装 
| 用法教程 
| 联系我们 



模型仓库:modelscope,huggingface,论文

在线体验:
modelscope demo, huggingface space



 已发布 checkpoint 范围: SenseVoiceSmall 支持中文、粤语、英文、日文和韩文的 ASR 与语种识别,并输出情感和音频事件标签。说话人分离是 FunASR 组合独立 FSMN-VAD 与 CAM++ 的 pipeline 能力,并非 SenseVoiceSmall checkpoint 本身的输出。



 核心功能 🎯

SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测。

- 研究范围与已发布 checkpoint: 更广泛的 SenseVoice 研究描述采用超过 40 万小时数据训练并覆盖 50 多种语言;当前公开的 SenseVoiceSmall checkpoint 支持中文、粤语、英文、日文和韩文,下面的 benchmark 对比仅对应所列任务与语种。
- 富文本识别:
  - 具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。
  - 支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。
- 高效推理: SenseVoiceSmall 采用非自回归端到端框架,具有低延迟推理能力;具体测试条件与速度对比见下方 benchmark。
- 微调定制: 具备便捷的微调脚本与策略,方便用户根据业务场景修复长尾样本问题。
- 服务部署: 具有完整的服务部署链路,支持多并发请求,支持客户端语言有,python、c++、html、java 与 c 等。



 最新动态 🔥

- 当前部署路径: 安装 funasr==1.4.14,即可使用 SenseVoice 的 Python、OpenAI 兼容服务与容器工作流。发布说明 · SenseVoice Releases
- 长音频无需 VAD: long_audio_no_vad.py 使用有界重叠窗口并保留原始 chunk 输出,小时级录音不必一次送入模型占用无界显存。运行脚本 -
- 一体化说话人标注: 更广泛的 FunASR 生态已接入 OpenMOSS/MOSS-Transcribe-Diarize,离线输出转写、时间戳和匿名说话人标签,不需要业务侧手工拼 VAD 与 speaker 模型。部署指南 -

 完整版本历史请查看 Releases。



 性能评测 📝

 多语言语音识别

我们在开源基准数据集(包括 AISHELL-1、AISHELL-2、Wenetspeech、Librispeech 和 Common Voice)上比较了 SenseVoice 与 Whisper 的多语言语音识别性能和推理效率。在中文和粤语识别效果上,SenseVoice-Small 模型具有明显的效果优势。

  



 情感识别

由于目前缺乏被广泛使用的情感识别测试指标和方法,我们在多个测试集的多种指标进行测试,并与近年来 Benchmark 上的多个结果进行了全面的对比。所选取的测试集同时包含中文 / 英文两种语言以及表演、影视剧、自然对话等多种风格的数据,在不进行目标数据微调的前提下,SenseVoice 能够在测试数据上达到和超过目前最佳情感识别模型的效果。

需要复现零训练的 CASIA 或 RAVDESS 结果时,请使用 SER 评测契约。该脚本直接读取 SenseVoice 原始情感标签,同时输出 UA 和 WA;不要从富文本转写结果中用字符串切分推断情感标签。

  



同时,我们还在测试集上对多个开源情感识别模型进行对比,结果表明,SenseVoice-Large 模型可以在几乎所有数据上都达到了最佳效果,而 SenseVoice-Small 模型同样可以在多数数据集上取得超越其他开源模型的效果。

  



 事件检测

尽管 SenseVoice 只在语音数据上进行训练,它仍然可以作为事件检测模型进行单独使用。我们在环境音分类 ESC-50 数据集上与目前业内广泛使用的 BEATS 与 PANN 模型的效果进行了对比。SenseVoice 模型能够在这些任务上取得较好的效果,但受限于训练数据与训练方式,其事件分类效果专业的事件检测模型相比仍然有一定的差距。

  



 推理效率

在下图所示 benchmark 设置中,SenseVoiceSmall 采用非自回归端到端架构;在参数量与 Whisper-Small 相当的情况下,其推理速度比 Whisper-Small 快 5 倍以上,比 Whisper-Large 快 15 倍。

  





 安装依赖环境 🐍

shell
pip install -r requirements.txt


SenseVoiceSmall 示例与 FunASR 组合说话人分离路径需要 funasr=1.3.26。如果你之前已经安装过本仓库,请先执行 pip install -U "funasr=1.3.26",再重新运行 demo。



 用法 🛠️

 推理

 使用 funasr 推理

支持常见格式音频输入。长录音必须先分段再送入编码器;下例使用 FSMN-VAD 完成分段。

使用 remote_code="./model.py" 时,升级 FunASR 包不会同步更新本地的
model.py,请同时更新仓库源码。当前时间戳格式为 timestamp=[[开始毫秒, 结束毫秒], ...],
与 words 一一对应;旧版的 [词元, 开始秒, 结束秒] 三元组不兼容 VAD 聚合。
直接调用模型的代码也需改为从 words 读取文字,参见 demo2.py。
说话人组合示例见 Speaker Diarization,已用
FunASR 1.4.15 和固定公开样本验证流程;这不是说话人准确率或真实身份识别验证。

python
from funasr import AutoModel
from funasr.utils.postprocess_utils import rich_transcription_postprocess

model_dir = "iic/SenseVoiceSmall"


model = AutoModel(
    model=model_dir,
    trust_remote_code=True,
    remote_code="./model.py", 

Top issues

Discussions

Latest release

FunASR llama.cpp runtime v0.2.1 runtime-llamacpp-v0.2.1 2026-08-27
Prebuilt self-contained binaries for the FunASR llama.cpp / GGUF runtime, including SenseVoice, Fun-ASR-Nano, and Paraformer with built-in FSMN-VAD.

 v0.2.1

- Fixes Vulkan selection when a requested device is reported as an integrated GPU (GGML_BACKEND_DEVICE_TYPE_IGPU).
- Prefers a matching discrete GPU and falls back to a matching integrated GPU.
- Provides nine desktop archives for Linux, macOS, and Windows, including Vulkan and Windows CUDA variants.
- The Windows Vulkan package is ready for Radeon 780M retesting. This selector fix does not claim to resolve the separate Radeon RX 9070 XT

Snapshot: 2026-11-16T09:23:14Z · Data license Apache-2.0 · JSON