+6
日增长
8,828
stars
1,364
forks
33
watchers
2,002
prs
526
issues
11
releases
README
slime English slime 是为 RL scaling 设计的 LLM 训练框架,提供两大核心能力: 1. 高性能训练:通过连接 Megatron 与 SGLang,支持各种模式的高效训练; 2. 灵活的数据生成:通过自定义数据生成接口以及 server-based engine,实现任意训练数据生成流程。 slime 的设计目标,是让这两大能力彼此强化,同时避免把系统变成一组割裂的 trainer、rollout service 和 agent framework。Megatron training、SGLang rollout、custom data generation、reward computation、verifier feedback 和 environment interaction 都流经同一条 training / rollout / Data Buffer 路径。 这让 slime 成为最经受实战验证的开源 RL post-training 框架之一:它足够轻量、清晰、易扩展,同时也经过了 SOTA 级模型发布背后的完整训练闭环验证。 设计特点 - 生产实践:slime 是 GLM-5.3-Flash、GLM-5.3、GLM-5.2、GLM-5.1、GLM-5、GLM-4.7、GLM-4.6、GLM-4.5 背后的 RL 训练框架。 - 原生引擎集成:直接使用 Megatron 参数,通过 --sglang- 前缀传入 SGLang 参数。 - 灵活的数据生成:通过自定义接口接入生成函数、奖励函数、验证器和交互环境。 - 正确性与可靠性:支持独立的 rollout 和训练调试、可复现性配置、故障恢复及 CPU/GPU 测试,服务长时间运行的实验。 支持的模型 除 GLM 系列外,slime 还支持 Qwen(Qwen3.8、Qwen3.6、Qwen3.5、Qwen3-Next、Qwen3 MoE、Qwen3、Qwen2.5)、DeepSeek(V3、V3.1、R1)和 Llama 3。模型配置见 scripts/models,训练示例见在线文档。 引擎配置与部署 可以直接使用 Megatron 的并行、优化器、checkpoint 和模型参数。当前安装版本的 SGLang 参数加上 --sglang- 前缀即可传入,例如将 --mem-fraction-static 写成 --sglang-mem-fraction-static。 复杂部署可参考: - SGLang 配置:通过 YAML 配置服务器组、多模型服务和每组独立参数。 - PD 分离:分开配置 prefill 和 decode 资源。 - 增量权重同步:通过共享存储传输发生变化的权重字节。 - 外部 rollout 引擎:接入训练任务之外管理的推理进程,并支持通过磁盘在不同 GPU 集群之间更新权重。 正确性、稳定性与 CI CPU 测试覆盖核心行为和自定义接口约定;GPU 测试覆盖 dense/MoE 训练、rollout 部署、checkpoint、精度、全异步 rollout、蒸馏和调试回放。测试矩阵与运行方法见 CI 指南。 相关工程文档:调试、可复现性、故障恢复、调用追踪和性能分析。 博文 - slime:为 RL Scaling 设计的 SGLang-Native 后训练框架 - Agent-Oriented Design: An Asynchronous and Decoupled Framework for Agentic RL - slime v0.1.0:重新定义高性能 RL 训练框架 目录 - 架构总览 - 快速开始 - 基于 slime 构建的生态 - 参数说明 - 代码阅读路线 - 开发指南 - 常见 Q&A 与致谢 架构总览 !arch 模块说明: - training (Megatron):负责主训练流程,从 Data Buffer 读取数据,训练完后将参数同步至 rollout 模块; - rollout (SGLang + router):生成新数据(含 reward/verifier),存储至 Data Buffer;通过 custom generate 可以在其上叠加 multi-turn loop、tool call、environment/sandbox 交互以及 verifier-based reward; - data buffer:桥梁模块,管理 prompt 初始化、自定义数据与 rollout 生成方法(包括以同一套接口产出 sample 的 agentic workflow)。 默认通过 Ray object-store 传输数据。选择 --rollout-data-transport straw 后,通过 straw 在 JuiceFS 共享存储上持久化 提示任务、rollout 续生成状态和训练批次。Ray 传递控制消息和引用,生成与训练进程直接并行读写数据。详见 straw 使用与恢复指南。 快速开始 有关环境配置、数据准备、训练启动和关键代码分析的完整快速开始指南,请参考: - 快速开始指南 我们还提供了一些未在快速开始中覆盖的使用示例,请查看 examples。 Agentic RL 示例 以下智能体训练示例通过自定义接口接入标准的 rollout 和数据缓冲区: - examples/multi_agent:在标准 rollout 循环内通过 --custom-generate-function-path 实现多智能体生成。 - examples/search-r1:通过 --custom-generate-function-path 实现搜索/RAG 风格的多轮生成。 - examples/fully_async:全异步 rollout,适合样本生成耗时差异较大的长尾任务。 - examples/coding_agent_rl:使用 Qwen3.8-27B、小米 MiMo SWE 数据和 sunabako 沙盒,运行代码智能体 RL,保留官方测试奖励和 token 级训练轨迹。 如何为智能体工作流选择合适的接口,请参考 自定义指南。 基于 slime 构建的生态 这些项目不只是 demo。它们是把 slime 作为可复用 RL substrate 的独立系统,覆盖生产级 post-training、agentic RL、domain RL 和 rollout-system research。 🐎 Dressage:面向任意 Agent 与 Sandbox 的可扩展 RL Dressage 是 Alibaba Accio 基于 slime 构建的 agentic RL training framework,面向 blackbox agents(例如 OpenCode、OpenClaw)以及任意 sandbox environment(例如 bwrap、E2B、Kubernetes)提供统一 RL。它通过 Paddock、Sa
Top issues
#1820[Bug] GLM5模型转megatron报错14 comments · 2026-04-09#1673[Bug] UpdateWeightFromDistributed fails for VLM models in non-colocate mode7 comments · 2026-03-07#1026ERROR about sglang_router11 comments · 2025-12-04#795[Bug] `Unexpected result nan` on 64x H100, Qwen3 235B11 comments · 2025-11-17#1484Slime + Megatron backend: training frequently hangs after SGLang CUDA graph capture & server startup (Uvicorn ready), no further progress10 comments · 2026-01-23#1482About GLM-4.7-Flash10 comments · 2026-01-23#1109AssertionError in _log_rollout_data when training qwen3-vl-8B with true_on_policy_mode10 comments · 2025-12-15#1202LoRA support GRPO training and examples9 comments · 2025-12-24
Latest release
v0.4.0: A First Step Toward Greater Scale v0.4.0 2026-10-09OpenAI's Navier–Stokes research effort involved a group of roughly 10,000 concurrent agents and used approximately 130 billion output tokens during problem-solving. For us, it offered a concrete glimpse of how large agent workloads can become—and prompted us to think more ambitiously about the RL infrastructure that trains them. Preparing for that scale means giving rollout orchestration room to grow across nodes, making data flow durable, and preserving useful work when training fails. It also means focusing our development effort so that algorithm exploration and training at scale share a