24,594
stars
2,881
forks
116
watchers
295
prs
172
issues
24
releases
README
🚀 RAG-Anything: All-in-One RAG System
---
🎉 新闻
- [X] [2026.06]🎯📢 🎉 LightRAG 通过原生集成 RAG-Anything 实现多模态 RAG。
- [X] [2025.10]🎯📢 🚀 我们已发布 [RAG-Anything] 的技术报告(http://arxiv.org/abs/2510.12323),立即访问以了解我们的最新研究成果。
- [X] [2025.08.12]🎯📢 🔍 RAGAnything 现在支持 VLM增强查询 模式!当文档包含图片时,系统可以自动将图片与文本上下文一起直接传递给VLM进行综合多模态分析。
- [X] [2025.07.05]🎯📢 RAGAnything 新增上下文配置模块,支持为多模态内容处理添加相关上下文信息。
- [X] [2025.07.04]🎯📢 RAGAnything 现在支持多模态内容查询,实现了集成文本、图像、表格和公式处理的增强检索生成功能。
- [X] [2025.07.03]🎯📢 RAGAnything 在GitHub上达到了1K星标🌟!感谢您的支持和贡献。
---
🌟 系统概述
下一代多模态智能
RAG-Anything是一个综合性多模态文档处理RAG系统。该系统能够无缝处理和查询包含文本、图像、表格、公式等多模态内容的复杂文档,提供完整的检索增强(RAG)生成解决方案。
🎯 核心特性
- 🔄 端到端多模态处理流水线 - 提供从文档解析到多模态查询响应的完整处理链路,确保系统的一体化运行
- 📄 多格式文档支持 - 支持PDF、Office文档(DOC/DOCX/PPT/PPTX/XLS/XLSX)、图像等主流文档格式的统一处理和解析
- 🧠 多模态内容分析引擎 - 针对图像、表格、公式和通用文本内容部署专门的处理器,确保各类内容的精准解析
- 🔗 基于知识图谱索引 - 实现自动化实体提取和关系构建,建立跨模态的语义连接网络
- ⚡ 灵活的处理架构 - 支持基于MinerU的智能解析模式和直接多模态内容插入模式,满足不同应用场景需求
- 📋 直接内容列表插入 - 跳过文档解析,直接插入来自外部源的预解析内容列表,支持多种数据来源整合
- 🎯 跨模态检索机制 - 实现跨文本和多模态内容的智能检索,提供精准的信息定位和匹配能力
---
🏗️ 算法原理与架构
核心算法
RAG-Anything 采用灵活的分层架构设计,实现多阶段多模态处理流水线,将传统RAG系统扩展为支持异构内容类型的综合处理平台。
📄
文档解析
→
🧠
内容分析
→
🔍
知识图谱
→
🎯
智能检索
1. 文档解析阶段
该系统构建了高精度文档解析平台,通过结构化提取引擎实现多模态元素的完整识别与提取。系统采用自适应内容分解机制,智能分离文档中的文本、图像、表格、公式等异构内容,并保持其语义关联性。同时支持PDF、Office文档、图像等主流格式的统一处理,提供标准化的多模态内容输出。
核心组件:
- ⚙️ 结构化提取引擎:集成 MinerU 文档解析框架,实现精确的文档结构识别与内容提取,确保多模态元素的完整性和准确性。
- 🧩 自适应内容分解机制:建立智能内容分离系统,自动识别并提取文档中的文本块、图像、表格、公式等异构元素,保持元素间的语义关联关系。
- 📁 多格式兼容处理:部署专业化解析器矩阵,支持PDF、Office文档系列(DOC/DOCX/PPT/PPTX/XLS/XLSX)、图像等主流格式的统一处理与标准化输出。
2. 多模态内容理解与处理
该多模态内容处理系统通过自主分类路由机制实现异构内容的智能识别与优化分发。系统采用并发多流水线架构,确保文本和多模态内容的高效并行处理,在最大化吞吐量的同时保持内容完整性,并能完整提取和保持原始文档的层次结构与元素关联关系。
核心组件:
- 🎯 自主内容分类与路由:自动识别、分类并将不同内容类型路由至优化的执行通道。
- ⚡ 并发多流水线架构:通过专用处理流水线实现文本和多模态内容的并发执行。这种方法在保持内容完整性的同时最大化吞吐效率。
- 🏗️ 文档层次结构提取:在内容转换过程中提取并保持原始文档的层次结构和元素间关系。
3. 多模态分析引擎
系统部署了面向异构数据模态的模态感知处理单元:
专用分析器:
- 🔍 视觉内容分析器:
- 集成视觉模型进行图像分析和内容识别
- 基于视觉语义生成上下文感知的描述性标题
- 提取视觉元素间的空间关系和层次结构
- 📊 结构化数据解释器:
- 对表格和结构化数据格式进行系统性解释
- 实现数据趋势分析的统计模式识别算法
- 识别多个表格数据集间的语义关系和依赖性
- 📐 数学表达式解析器:
- 高精度解析复杂数学表达式和公式
- 提供原生LaTeX格式支持以实现与学术工作流的无缝集成
- 建立数学方程与领域特定知识库间的概念映射
- 🔧 可扩展模态处理器:
- 为自定义和新兴内容类型提供可配置的处理框架
- 通过插件架构实现新模态处理器的动态集成
- 支持专用场景下处理流水线的运行时配置
4. 多模态知识图谱索引
多模态知识图谱构建模块将文档内容转换为结构化语义表示。系统提取多模态实体,建立跨模态关系,并保持层次化组织结构。通过加权相关性评分实现优化的知识检索。
核心功能:
- 🔍 多模态实体提取:将重要的多模态元素转换为结构化知识图谱实体。该过程包括语义标注和元数据保存。
- 🔗 跨模态关系映射:在文本实体和多模态组件之间建立语义连接和依赖关系。通过自动化关系推理算法实现这一功能。
- 🏗️ 层次结构保持:通过"归属于"关系链维护原始文档组织结构。这些关系链保持逻辑内容层次和章节依赖关系。
- ⚖️ 加权关系评分:为关系类型分配定量相关性分数。评分基于语义邻近性和文档结构内的上下文重要性。
5. 模态感知检索
混合检索系统结合向量相似性搜索与图遍历算法,实现全面的内容检索。系统实现模态感知排序机制,并维护检索元素间的关系一致性,确保上下文集成的信息传递。
检索机制:
- 🔀 向量-图谱融合:集成向量相似性搜索与图遍历算法。该方法同时利用语义嵌入和结构关系实现全面的内容检索。
- 📊 模态感知排Top issues
#70[Question]:Image is not analyzed properly10 comments · 2025-07-29#49[Question]: Not able to Process documents, Document Processing stuck9 comments · 2025-07-09#235[Question]:Consultation on the 63.4% accuracy on DocBench8 comments · 2026-04-02#69[Question]: raganything_example.py 改写为ollama下的模型时出现的问题7 comments · 2025-07-29#146[Question]:能够支持本地模型了吗6 comments · 2025-10-24#50[Question]:ImportError: cannot import name 'LightRAG' from 'lightrag' (unknown location)5 comments · 2025-07-10#48[Question]: Is it normal for documents to take a while to process?5 comments · 2025-07-08#26[Question]: How to Customize the Prompt for Knowledge Graph Generation in RAGAnything?5 comments · 2025-07-02
Discussions
#492Chopper: a small open model that cuts only the needed sentences out of retrieved text0 comments · 2026-11-16#378A hard dollar limit on one RAG-Anything ingestion job (text + vision calls)0 comments · 2026-10-03#245File Metadata and Filtering2 comments · 2026-04-19#229Example code but using ollama2 comments · 2026-03-23#194Are there any plans to integrate RAG-Anything into LightRAG server?0 comments · 2026-02-08#193Need a help!!!! Why I always get this connection problem1 comments · 2026-01-23#192Feature Discussion: Audio Transcription Support1 comments · 2026-01-20#179加载已有的RAG库时报错。0 comments · 2025-12-23
Latest release
v1.4.4 v1.4.4 2026-10-28MinerU compatibility RAG-Anything now requires MinerU =3.4.1,<4 on Python 3.10–3.13. MinerU 4 replaced the CLI used by this integration. The parser now rejects incompatible versions at initialization and includes the actual command output and repair advice in errors (449). On Python 3.14, install RAG-Anything with Docling and select parser="docling", or use Python 3.13 for MinerU. MinerU 3.x cannot be installed on Python 3.14, so this release excludes that dependency there. The configured parser is checked at initialization, including operations that insert pre-parsed content. For existing