RLinf /RLinf
RLinf: Reinforcement Learning Infrastructure for Embodied and Agentic AI
★ 5,654⑂ 845👁 17⑃ 1,409● 438▤ 4
+3
日增长
5,654
stars
845
forks
17
watchers
1,409
prs
438
issues
4
releases
README
RLinf: 为具身智能和智能体而生的强化学习框架 RLinf 是一个灵活且可扩展的开源框架,专为具身智能和智能体而设计。名称中的 “inf” 既代表 Infrastructure,强调其作为新一代训练坚实基础的作用;也代表 Infinite,寓意其支持开放式学习、持续泛化以及智能发展的无限可能。 最新动态 - [2026/11] 🎉 RLinf 官网上线了!欢迎阅读博客并查看社区活动。 - [2026/11] 🔥 RLinf 接入 MuJoCo Warp,支持五个经典运动控制任务的 GPU 批量仿真及 MLP + PPO 示例。文档:MuJoCo Warp。 - [2026/11] 🔥 RLinf 支持 LeKiwi 三轮全向移动底盘,提供分部件调试工具,并注册了真机驱动环境。文档:LeKiwi。 - [2026/11] 🔥 RLinf 支持双臂 ARX X5 搭配 Pico 遥操作的数据采集。文档:ARX X5。 - [2026/11] 🔥 RLinf 支持 DiffusionART,使用 OCR 奖励微调 SD3 图像生成模型和 Wan2.2 视频生成模型,达到同一奖励阈值所需时间比 NFT 减少约 30%、轨迹数减少约三分之一。文档:DiffusionART。 - [2026/11] 🔥 RLinf 支持 LIBERO-Mem,并为 OpenPI 提供受 MEM 启发的视觉短期记忆,用于监督微调和评测,在 LIBERO-Mem 上把严格成功率从 20.0% 提升到 35.5%。文档:LIBERO-Mem、OpenPI Short Memory。 - [2026/11] 🔥 RLinf 支持在 GenieSim 上用 PPO 和 GRPO 对 π₀.₅ 进行强化学习。文档:基于 GenieSim 的强化学习训练。 - [2026/11] 🔥 RLinf 支持 RoboDojo——基于 Isaac Sim 的双臂操作类基准,覆盖 ARX-X5 等机器人,已作为 Gym 环境接入,可将官方 π₀.₅ 权重转换为 OpenPI 格式并在 55 个预设场景布局上逐场景评测。文档:RoboDojo。 - [2026/11] 🔥 RLinf 支持 SO-101 关节空间示范数据采集、OpenPI π₀.₅ 监督微调和本地评测。文档:SO-101。 - [2026/11] 🔥 RLinf 支持 Psi0 VLA 模型与 SIMPLE 人形机器人仿真环境。文档:Psi0、SIMPLE。 - [2026/11] 🔥 RLinf 支持将 PhyAI 作为进程内 rollout 后端,在 LIBERO 上用 PPO 训练 π₀.₅,并支持热权重同步,在四张 H800 上把 π₀.₅ 的预测耗时从 142.6 秒降到 68.7 秒。文档:PhyAI rollout 后端。 - [2026/10] 🎉 RLinf v0.4 发布,让强化学习真正走出仿真、敏捷操控物理世界。主要升级:乐高式真机工程体系(rlinf.robotics)、真机 SOTA 后训练算法(RLT、STEAM、OPD、RTC)、全模态模型(PyTorch 原生 OpenPI π₀ / π₀.₅、Cosmos3、FastWAM、π₀-FAST、Evo-1、MolmoAct2、SD3 / Wan2.2)以及八大异构算力支持。发布说明:RLinf v0.4。 - [2026/10] 🎉 RLinf 发布 CEL(Collective Experience Learning):机器人集群从部署期自身经验中共同改进共享策略,无需额外专家示教或纠错动作;在最多 96 台真机、5 项真实任务上验证。项目主页:CEL,论文:arXiv:2610.25736。代码即将开源。 - [2026/10] 🔥 RLinf 支持沐曦(MetaX MACA)GPU。PR:沐曦 GPU 支持(1656)。 - [2026/10] 🔥 RLinf 支持在 RoboTwin 上用 PPO 对 LingbotVLA 2.0 进行强化学习。文档:LingbotVLA 2.0。 - [2026/09] 🔥 RLinf 重构真机机器人与环境,用统一的 robotics 接口分开管理硬件、任务和 rollout wrapper。文档:机器人接口、机器人架构、真机任务与环境、添加机器人、新增真机任务、遥操作。 - [2026/09] 🔥 RLinf 支持 π₀-FAST 强化学习。文档:π₀-FAST。 - [2026/09] 🔥 RLinf 支持壁仞 GPU。PR:壁仞 GPU 支持(1581)。 - [2026/09] 🔥 RLinf 支持基于 ApxInf 加速的 π₀.₅ LIBERO 评测:resize、tokenize、归一化等仍由 RLinf 原生 OpenPI transforms 负责,仅经由 ApxInf 的 L1 推理接口接入引擎。文档:ApxInf LIBERO 评测。 - [2026/09] 🔥 RLinf 支持 FastWAM 的 FSDP 监督微调与 LIBERO 批量评测。文档:FastWAM 评测与监督微调。 - [2026/08] 🔥 RLinf 支持对英伟达全模态世界模型 Cosmos3 做 SFT 及基于 SGLang 的评测。文档:Cosmos3 SFT、SGLang 评测。 - [2026/08] 🎉 RLinf 正式入选 PyTorch 生态!我们将继续把可扩展的具身与智能体强化学习带给 PyTorch 用户,推动模型智能走进真实世界。博客:PyTorch Ecosystem Landscape Q3 Update。 - [2026/08] 🎉 Isaac Lab v3.0.0 正式采用 RLinf 作为其强化学习(RL)训练基础设施。文档:Isaac Lab 中的 RLinf。 - [2026/08] 🔥 RLinf 集成 Diffusion-NFT,支持 SD3 和 Wan2.2 视频生成模型的强化学习。文档:视频生成模型的强化学习。 - [2026/08] 🔥 RLinf 支持摩尔线程(MUSA)、华为昇腾(CANN)与 AMD(ROCm)。支持的模型与环境组合及运行步骤见硬件支持矩阵。 - [2026/08] 🔥 RLinf 支持 Moonlight-16B-A3B(DeepSeek-V3 MLA + MoE)的 GRPO 训练。文档:Moonlight-16B GRPO。 - [2026/08] 🔥 RLinf 支持在 LIBERO 上评测 MolmoAct2。文档:MolmoAct2。 - [2026/08] 🎉 两篇论文被 OSDI 2026 接收:RLinf 与 DynaRL。DynaRL 在异构 RL 组件之间动态重分配计算、内存与通信资源,提升端到端训练吞吐。文档:DynaRL。 - [2026/08] 🎉 两篇论文被 RSS 2026 接收:RLinf-VLA 与 USER。RLinf-VLA 是面向 VLA 模型的统一高效强化学习训练框架,可对接多样架构、算法与仿真器。文档:RLinf-VLA。
Top issues
#537[Troubleshoot]: CUDA Out of Memory error during training22 comments · 2026-01-08#682[Troubleshoot]: the rewards are always 0.0.21 comments · 2026-02-05#267[Troubleshoot]: RuntimeError: The tensor has a non-zero number of elements, but its data is not allocated yet.21 comments · 2025-11-13#953Hello, bash examples/embodiment/run_embodiment.sh libero_spatial_ppo_openpi_quickstart, the following errors occur: AttributeError: 'EGL . Thanks.14 comments · 2026-03-28#655[Troubleshoot]: Cannot resume from checkpoints13 comments · 2026-02-02#470[Troubleshoot]: The KL divergence of PPO is unstable12 comments · 2025-12-19#259[Bug]: 显卡进程混乱12 comments · 2025-11-12#92[Feature Request / Question] Support for NVIDIA RTX 5090 (Blackwell Architecture)12 comments · 2025-09-12
Discussions
#1764Hello0 comments · 2026-10-27#481Training time for RL in simulators3 comments · 2025-12-22#329Welcome to RLinf Discussions!0 comments · 2025-11-26
Latest release
RLinf v0.4 Release v0.4 2026-10-20🚀 RLinf v0.4 is here. Reinforcement learning steps out of simulation and into agile control of the physical world. v0.3 connected the path from simulation to real robots. v0.4 is the step toward deploying embodied RL at real-world scale. The release rebuilds the stack around three pillars: a modular real-robot system, high-efficiency real-robot algorithms, and full-modality models on a heterogeneous compute base. - 🧩 Modular real-robot system (rlinf.robotics): arms, dexterous hands, cameras, mobile bases, and teleoperation devices become composable blocks. Hardware drivers are fully deco