opendatalab /MinerU-HTML
MinerU-HTML: An SLM-powered HTML main content extractor that outputs clean HTML bodies. Perfect for Deep Research Agents, RAG applications, and training data generation.
★ 301⑂ 28👁 5⑃ 13● 24▤ 3
-1
日增长
301
stars
28
forks
5
watchers
13
prs
24
issues
3
releases
README
MinerU-HTML English/中文 MinerU-HTML 是一款基于小语言模型(SLM)的高级 HTML 正文提取工具。它能够从复杂的网页 HTML 中准确识别并提取主要内容,自动过滤导航栏、广告和元数据等辅助元素。 在线体验 -\ Mineru-Extractor 欢迎体验我们的在线文档提取工具!支持 HTML 正文提取以及多种文档格式的 OCR 识别。 或 下载模型进行本地部署 -\ MinerU-HTML-v1.1 —— 现已更新至 v1.1 版本! 最新动态 - 2026.11.05 🎉 MinerU-HTML-v1.1 新增基于 Qwen3.5-0.8B 的模型版本!沿用 compact 输出格式,可直接替换旧版本使用,欢迎体验! - 2026.03.19 🎉 MinerU-HTML-v1.1 发布!相比 v1.0 版本更高效、更强大,现已集成 MinerU-Webkit,支持 HTML 到 Markdown/JSON/Txt 的转换。欢迎使用! - 2025.12.1 🎉 AICC 数据集发布,欢迎使用!AICC 数据集包含 7.3T 由 MinerU-HTML 提取并转换成 Markdown 格式的网页,具有更干净的正文内容以及高质量的代码、公式和表格。 - 2025.12.1 🎉 MinerU-HTML 模型发布!该模型基于 Qwen3 进行微调,在 HTML 正文提取任务上表现卓越。 - 2025.12.1 🎉 体验页面上线,欢迎访问 Opendatalab-AICC 试用我们的提取工具! ✨ 功能特性 - 🎯 LLM 驱动提取:利用先进的语言模型智能识别正文内容。 - 📝 可扩展输出:集成 MinerU-Webkit,支持将提取的 HTML 高效转换为 Markdown、JSON 和 Txt 格式。 - ⚡ 紧凑格式 (Compact Format):模型现采用紧凑格式而非原始 JSON 格式,推理速度更快。 - ⚡ 正则结构化输出:模型现采用正则结构化输出替代自定义 logits 处理器,从而支持使用 vLLM v1 后端进行推理。 - 🔄 完整的处理流水线:包括 HTML 简化、提示词构建、LLM 推理、结果解析、正文提取等完整流程。 - 🚀 多推理后端支持:支持 VLLM、Transformers 和 OpenAI API 三种推理后端。 - 🛡️ 容错机制:支持回退机制(trafilatura、bypass 或 empty),确保处理失败时仍能提取内容。 - 🔌 模块化设计:架构清晰,易于扩展和自定义。 - 🧪 完善的测试:包含全面的单元测试和集成测试。 评估结果 我们在 WebMainBench v1.1 基准测试上对 MinerU-HTML 进行了评估。该基准包含 7,809 个(v1.0 为 7,887 个,我们剔除了一些低质量页面)精心标注的网页及其对应的由 html2text 转换的 Markdown 格式正文。评估通过计算提取结果与标准答案(Ground-truth)之间的 ROUGE-N 分数来衡量准确度。主要评估结果如下表所示: | Extractor | ROUGE-N.f1 | | ---------------- | ---------- | | DeepSeek-V3\ | 0.9098 | | GPT-5\ | 0.9024 | | MinerU-HTML-v1.1 (Qwen3.5-0.8B) | 0.9042 | | MinerU-HTML-v1.1 (Hunyuan-0.5B) | 0.9001 | | Magic-HTML | 0.7138 | | Readability | 0.6542 | | Trafilatura | 0.6402 | | Resiliparse | 0.6290 | | html2text | 0.6042 | | BoilerPy3 | 0.5434 | | GNE | 0.5171 | | news-please | 0.5032 | | justText | 0.4782 | | Goose3 | 0.4371 | | ReaderLM-v2 | 0.2279 | 注:标有 \ 的项目表示在 MinerU-HTML 框架中使用 GPT-5/Deepseek-V3 提取 HTML 正文,而非使用我们微调的模型。 🚀 快速上手 下载模型 你可以选择手动下载 MinerU-HTML-v1.1-qwen3.5-0.8B-compact 模型以便离线使用。如果在代码中不指定 model_path,模型将自动从 Hugging Face 下载。 手动下载模型,请使用以下命令: bash huggingface-cli download opendatalab/MinerU-HTML-v1.1-qwen3.5-0.8B-compact 旧版模型:MinerU-HTML-v1.1-hunyuan0.5B-compact(历史版本,不再维护)。 安装 默认安装(VLLM 后端) 我们推荐使用 VLLM 后端进行安装,以获得最佳性能并适配主要使用场景: bash pip install mineru_html[vllm] 从源码安装: bash git clone https://github.com/opendatalab/MinerU-HTML cd MinerU-HTML pip install .[vllm] 备选后端 如果 VLLM 不适用于您的环境(例如您希望使用不同的推理引擎、缺少 GPU 资源,或需要使用 OpenAI API),可以选择以下后端之一: - Transformers 后端(使用 Hugging Face Transformers 进行本地推理,无额外依赖): bash pip install mineru_html - OpenAI API 后端(调用远程 OpenAI 兼容 API): bash pip install mineru_html[openai] 基本用法 默认用法(GPU 上的 VLLM 后端) python from mineru_html import MinerUHTML model_path 可选;如果不指定,将自动下载默认模型 extractor = MinerUHTML() 处理单个 HTML html_content = '...' result = extractor.process(html_content) print(result[0].out
Top issues
Latest release
v1.1.3-qwen v1.1.3-qwen 2026-11-06Full Changelog: https://github.com/opendatalab/MinerU-HTML/compare/v1.1...v1.1.3-qwen