modelscope /ms-swift
Use PEFT or Full-parameter to CPT/SFT/DPO/GRPO 600+ LLMs (Qwen3.8, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) and 300+ MLLMs (Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM5.3, Gemma4, Llava, Phi4, ...) (AAAI 2025).
★ 16,105⑂ 1,803👁 55⑃ 4,364● 5,253▤ 108
+1
日增长
16,105
stars
1,803
forks
55
watchers
4,364
prs
5,253
issues
108
releases
README
SWIFT (Scalable lightWeight Infrastructure for Fine-Tuning)
魔搭社区官网
中文  |  English 
论文   | English Documentation   |   中文文档  
📖 目录
- 用户群
- 简介
- 新闻
- 安装
- 快速开始
- 如何使用
- License
- 引用
☎ 用户群
请扫描下面的二维码来加入我们的交流群:
Discord Group | 微信群
:-------------------------:|:-------------------------:
|
📝 简介
🍲 ms-swift是魔搭社区提供的大模型与多模态大模型微调部署框架,现已支持600+纯文本大模型与400+多模态大模型的训练(预训练、微调、人类对齐)、推理、评测、量化与部署。其中大模型包括:Qwen3、Qwen3.5、InternLM3、GLM4.5、Mistral、DeepSeek-R1、Llama4等模型,多模态大模型包括:Qwen3-VL、Qwen3-Omni、Kimi-K3、Llava、InternVL3.5、MiniCPM-V-4、Ovis2.5、GLM4.5-V、DeepSeek-VL2等模型。
🍔 除此之外,ms-swift汇集了最新的训练技术,包括集成Megatron并行技术,包括TP、PP、CP、EP等为训练提供加速,以及众多GRPO算法族强化学习的算法,包括:GRPO、DAPO、GSPO、SAPO、CISPO、RLOO、Reinforce++等提升模型智能。ms-swift支持广泛的训练任务,包括DPO、KTO、RM、CPO、SimPO、ORPO等偏好学习算法,以及Embedding、Reranker、序列分类任务。ms-swift提供了大模型训练全链路的支持,包括使用vLLM、SGLang和LMDeploy对推理、评测、部署模块提供加速,以及使用GPTQ、AWQ、BNB、FP8技术对大模型进行量化。
为什么选择ms-swift?
- 🍎 模型类型:支持600+纯文本大模型、400+多模态大模型以及All-to-All全模态模型训练到部署全流程,热门模型Day0支持。
- 数据集类型:内置150+预训练、微调、人类对齐、多模态等各种任务数据集,并支持自定义数据集,用户只需准备数据集即可一键训练。
- 硬件支持:支持 NVIDIA GPU(A100/H100/RTX 系列等,CUDA)、AMD GPU(MI300 系列等,ROCm)、国产硬件(Huawei Ascend NPU、MetaX GPU、摩尔线程 GPU(MUSA))、Apple MPS 与 CPU。
- 轻量训练:支持了LoRA、QLoRA、DoRA、LoRA+、LLaMAPro、LongLoRA、LoRA-GA、ReFT、RS-LoRA、Adapter、LISA等轻量微调方式。
- 量化训练:支持对BNB、AWQ、GPTQ、AQLM、HQQ、EETQ量化模型进行训练,7B模型训练只需9GB训练资源。
- 显存优化: GaLore、Q-Galore、UnSloth、Liger-Kernel、Flash-Attention 2/3 以及 Ulysses和Ring-Attention序列并行技术支持,降低长文本训练显存占用。
- 分布式训练:支持分布式数据并行(DDP)、device_map简易模型并行、DeepSpeed ZeRO2 ZeRO3、FSDP/FSDP2以及Megatron等分布式训练技术。
- 🍓 多模态训练:支持多模态packing技术提升训练速度100%+,支持文本、图像、视频和语音混合模态数据训练,支持vit/aligner/llm单独控制。
- Agent训练:支持Agent template,准备一套数据集可用于不同模型的训练。
- 🍊 训练任务:支持预训练和指令微调,以及DPO、GKD、KTO、RM、CPO、SimPO、ORPO等训练任务,支持Embedding/Reranker和序列分类任务。
- 🥥 Megatron并行技术:提供TP/PP/SP/CP/ETP/EP/VPP并行策略,显著提升MoE模型训练速度。支持300+纯文本大模型和100+多模态大模型的全参数和LoRA训练方法。支持CPT/SFT/GRPO/DPO/KTO/RM训练任务。
- 🍉 强化学习:内置丰富GRPO族算法,包括GRPO、DAPO、GSPO、SAPO、CISPO、CHORD、RLOO、Reinforce++等,支持同步和异步vLLM引擎推理加速,可使用插件拓展奖励函数、多轮推理调度器以及环境等。
- 全链路能力:覆盖训练、推理、评测、量化和部署全流程。
- 界面训练:提供使用Web-UI界面的方式进行训练、推理、评测、量化,完成大模型的全链路。
- 推理加速:支持Transformers、vLLM、SGLang和LmDeploy推理加速引擎,并提供OpenAI接口,为推理、部署和评测模块提供加速。
- 模型评测:以EvalScope作为评测后端,支持100+评测数据集对纯文本和多模态模型进行评测。
- 模型量化:支持AWQ、GPTQ、FP8和BNB的量化导出,导出的模型支持使用vLLM/SGLang/LmDeploy推理加速。
🎉 新闻
- 🔥 2026.10.29: Day-0 支持 NVIDIA-Nemotron-3.5-Transcribe,训练示例参考 SFT示例。
- 🔥 2026.10.22: 支持 EntroPack 灵活码率模型量化,可根据显存预算精细控制模型码率,支持 Transformers 推理和 LoRA 训练。参考最佳实践和 QLoRA 示例。
- 🔥 2026.10.19: 支持 EmbeddingGemma-2(740M,多模态嵌入模型,支持文本/图像/视频/音频统一向量空间),支持 infonce loss 微调。
- 🔥 2026.10.15: Day-0 支持 NVIDIA-Nemotron-3.5-Super-VL-120B-A12B,训练示例参考 SFT示例。
- 🔥 2026.10.13: 支持Decision模型(类型化决策System-1打分模型)的训练与推理,使用 --task_type decision,通过单次前向传播输出每个问题选项集上的校准概率。
- 🔥 2026.10.01: 支持 Xing4.0-29B-A4B:transformers 后端的训练与推理,支持单/多卡(DDP 与 DeepSpeed ZeRO-3)的 LoRA 与全参数 SFT,以及 grouped_mm 专家加速(~3.7x),示例参考 这里。
- 🔥 2026.09.21: 支持 DeepSeek-V4.1-Flash:Megatron-SWIFT 全参数训练(SFT 与 GRPTop issues
#4030🚀 Best Practices for Training Qwen3/Qwen3-MoE146 comments · 2025-04-28#7250👋Welcome ms-swift v462 comments · 2025-12-30#4561🍭[Roadmap] ms-swift3.6-3.848 comments · 2025-06-11#5507qwen3 sft的时候的think33 comments · 2025-08-23#6476qwen3-235b megatron pipeline并行报错25 comments · 2025-11-07#8053grpo训练超时 rollout成功拉起 但是grpo训练报错 XXX:51216 timeour21 comments · 2026-02-15#6364GME模型分别用vLLM部署和swift部署(使用vllm backend )的服务,返回的Emb结果不一致21 comments · 2025-10-30#8289Best-Practice of Qwen3.5 GRPO training by Megatron-Swift20 comments · 2026-03-11
Latest release
v4.6.1 v4.6.1 2026-11-13v4.6.1 New Models - NVIDIA-Nemotron-3.5-Super-VL-120B-A12B(10377) - NVIDIA-Nemotron-3.5-Transcribe-30B-A4B(10458) - Unlimited-OCR-2(10448) - MiniCPM-OCR-1.0(10414) - Olmo-3-7B-Think(10371) - flint(10482) - EmbeddingGemma-2(10392) - Decision / System-1 family: THX-02 (10398), kev-0.8b/4b/9b (10407), laya (10445) and StartLux-Decision-v1.1 4B/9B/27B-AutoThink (10479). Decision Task (typed-decision / JEV family) - Four new decision heads with templates, alignment tests and examples/train/decision/.sh recipes: THX-02 (10398), jaredpalmer/kev- pointer heads (10407), Laya (10445