opendatalab /MinerU-HTML

MinerU-HTML: An SLM-powered HTML main content extractor that outputs clean HTML bodies. Perfect for Deep Research Agents, RAG applications, and training data generation.

★ 301⑂ 28👁 5⑃ 13● 24▤ 3
PythonApache-2.0Created 2025-11-26opendatalab.com/ai-ready/AICC#playground
TA的项目
下载:v1.1.3-qwenv1.1.3-qwen ↓v1.1.3-qwen2026-11-06
-1
日增长
301
stars
28
forks
5
watchers
13
prs
24
issues
3
releases

README

MinerU-HTML

English/中文

MinerU-HTML 是一款基于小语言模型(SLM)的高级 HTML 正文提取工具。它能够从复杂的网页 HTML 中准确识别并提取主要内容,自动过滤导航栏、广告和元数据等辅助元素。

在线体验 -\ Mineru-Extractor

欢迎体验我们的在线文档提取工具!支持 HTML 正文提取以及多种文档格式的 OCR 识别。

或

下载模型进行本地部署 -\ MinerU-HTML-v1.1 —— 现已更新至 v1.1 版本!

 最新动态

  - 2026.11.05 🎉 MinerU-HTML-v1.1 新增基于 Qwen3.5-0.8B 的模型版本!沿用 compact 输出格式,可直接替换旧版本使用,欢迎体验!
  - 2026.03.19 🎉 MinerU-HTML-v1.1 发布!相比 v1.0 版本更高效、更强大,现已集成 MinerU-Webkit,支持 HTML 到 Markdown/JSON/Txt 的转换。欢迎使用!
  - 2025.12.1 🎉 AICC 数据集发布,欢迎使用!AICC 数据集包含 7.3T 由 MinerU-HTML 提取并转换成 Markdown 格式的网页,具有更干净的正文内容以及高质量的代码、公式和表格。
  - 2025.12.1 🎉 MinerU-HTML 模型发布!该模型基于 Qwen3 进行微调,在 HTML 正文提取任务上表现卓越。
  - 2025.12.1 🎉 体验页面上线,欢迎访问 Opendatalab-AICC 试用我们的提取工具!

 ✨ 功能特性

  - 🎯 LLM 驱动提取:利用先进的语言模型智能识别正文内容。
  - 📝 可扩展输出:集成 MinerU-Webkit,支持将提取的 HTML 高效转换为 Markdown、JSON 和 Txt 格式。
  - ⚡ 紧凑格式 (Compact Format):模型现采用紧凑格式而非原始 JSON 格式,推理速度更快。
  - ⚡ 正则结构化输出:模型现采用正则结构化输出替代自定义 logits 处理器,从而支持使用 vLLM v1 后端进行推理。
  - 🔄 完整的处理流水线:包括 HTML 简化、提示词构建、LLM 推理、结果解析、正文提取等完整流程。
  - 🚀 多推理后端支持:支持 VLLM、Transformers 和 OpenAI API 三种推理后端。
  - 🛡️ 容错机制:支持回退机制(trafilatura、bypass 或 empty),确保处理失败时仍能提取内容。
  - 🔌 模块化设计:架构清晰,易于扩展和自定义。
  - 🧪 完善的测试:包含全面的单元测试和集成测试。

 评估结果

我们在 WebMainBench v1.1 基准测试上对 MinerU-HTML 进行了评估。该基准包含 7,809 个(v1.0 为 7,887 个,我们剔除了一些低质量页面)精心标注的网页及其对应的由 html2text 转换的 Markdown 格式正文。评估通过计算提取结果与标准答案(Ground-truth)之间的 ROUGE-N 分数来衡量准确度。主要评估结果如下表所示:

| Extractor        | ROUGE-N.f1 |
| ---------------- | ---------- |
| DeepSeek-V3\    | 0.9098     |
| GPT-5\          | 0.9024     |
| MinerU-HTML-v1.1 (Qwen3.5-0.8B) | 0.9042     |
| MinerU-HTML-v1.1 (Hunyuan-0.5B) | 0.9001     |
| Magic-HTML       | 0.7138     |
| Readability      | 0.6542     |
| Trafilatura      | 0.6402     |
| Resiliparse      | 0.6290     |
| html2text        | 0.6042     |
| BoilerPy3        | 0.5434     |
| GNE              | 0.5171     |
| news-please      | 0.5032     |
| justText         | 0.4782     |
| Goose3           | 0.4371     |
| ReaderLM-v2      | 0.2279     |

注:标有 \ 的项目表示在 MinerU-HTML 框架中使用 GPT-5/Deepseek-V3 提取 HTML 正文,而非使用我们微调的模型。

 🚀 快速上手

 下载模型

你可以选择手动下载 MinerU-HTML-v1.1-qwen3.5-0.8B-compact 模型以便离线使用。如果在代码中不指定 model_path,模型将自动从 Hugging Face 下载。

手动下载模型,请使用以下命令:

bash
huggingface-cli download opendatalab/MinerU-HTML-v1.1-qwen3.5-0.8B-compact


 旧版模型:MinerU-HTML-v1.1-hunyuan0.5B-compact(历史版本,不再维护)。

 安装

 默认安装(VLLM 后端)

我们推荐使用 VLLM 后端进行安装,以获得最佳性能并适配主要使用场景:

bash
pip install mineru_html[vllm]


从源码安装:

bash
git clone https://github.com/opendatalab/MinerU-HTML
cd MinerU-HTML
pip install .[vllm]


 备选后端

如果 VLLM 不适用于您的环境(例如您希望使用不同的推理引擎、缺少 GPU 资源,或需要使用 OpenAI API),可以选择以下后端之一:

- Transformers 后端(使用 Hugging Face Transformers 进行本地推理,无额外依赖):

  bash
  pip install mineru_html
  

- OpenAI API 后端(调用远程 OpenAI 兼容 API):

  bash
  pip install mineru_html[openai]
  

 基本用法

 默认用法(GPU 上的 VLLM 后端)

python
from mineru_html import MinerUHTML

 model_path 可选;如果不指定,将自动下载默认模型
extractor = MinerUHTML()

 处理单个 HTML
html_content = '...'
result = extractor.process(html_content)
print(result[0].out

Top issues

Latest release

v1.1.3-qwen v1.1.3-qwen 2026-11-06
Full Changelog: https://github.com/opendatalab/MinerU-HTML/compare/v1.1...v1.1.3-qwen

Snapshot: 2026-11-16T09:23:14Z · Data license Apache-2.0 · JSON