guohuiyuan /go-novel-dl

go-novel-dl 是 Go 语言开发的多源小说下载器,支持 CLI 与 Web 界面,可跨站点并发搜索、一键下载并导出,已适配 ESJZone、SFACG、刺猬猫、若初文学等多个书源。novel-dl交流群:1094455212

★ 300⑂ 30👁 7⑃ 0● 9▤ 22
GoAGPL-3.0Created 2026-03-19
下载:v1.0.21v1.0.21 ↓1.0.212026-11-15
300
stars
30
forks
7
watchers
0
prs
9
issues
22
releases

README

go-novel-dl

 ⭐ 如果这个项目正在帮你省时间,欢迎顺手点一个 Star。Star 越多,作者越能确认这个工具确实有人在用,也会更有动力优先修复失效站点、适配新站点和更新版本。


  


go-novel-dl 是一个基于 Go 的多源小说下载工具,当前同时提供:

- CLI 交互式搜索与下载
- Web UI 搜索、详情、任务队列与配置中心
- 可选桌面壳层,底层仍复用同一套 Web 服务

项目当前的核心形态不是“单个下载脚本”,而是一个统一运行时:

- internal/app.Runtime 负责组装 Config / Registry / Library / Pipeline / Exporter / State / Progress
- internal/site 负责站点适配与 URL 解析
- internal/store 负责分阶段本地落盘
- internal/web 负责 Gin Web 服务与前端资源
- internal/config 负责 SQLite 配置中心

 当前能力

- 聚合搜索:并发请求多个站点,按书名/作者归并同作品变体,达量提前返回并取消剩余慢源
- 混合结果排序:综合关键词匹配、站点优先级、简介完整度、封面可用性挑主结果
- URL 直达:CLI 与 Web 都支持直接输入小说链接解析
- Web 阅读器:按需拉章节正文,支持滚动续读、上下文预加载、主题/背景/字号/排版
- 官方发现页:聚合各渠道公开排行榜、书荒殿热点榜与真实书单,支持直接进入现有详情、阅读和下载流程
- 阅读历史:在线读过但未入书架的书也会出现在「阅读历史」;从书架移除有进度的书会降级为隐式记录而非丢失
- 异步下载任务:前端轮询进度;下载速度走 30s 滑动窗口斜率估算,加减速/卡住/重试回退都能正确反映;非进行中任务可一键「📤 重新导出」换 txt/epub/html
- 多格式导出:txt / html / epub,文件名模板支持 {title} {author} {site} {book_id} 占位符
- 分阶段存储:原始 / 处理后 / 导出文件分层落盘
- 图片处理:章节图片保留、EPUB 图片抓取与压缩;Web 全局可开启图片模糊
- 统一配置:CLI 与 Web 共用 data/site_catalog.db;站点级支持可选登录/Cookie、镜像、并发、抓图、文字转换、缓存开关
- 站点兼容:Alice Book House 加密章节、Linovelib 多页目录、ESJ Zone 免登录搜索、轻之文库/轻小说百科/神凑轻小说 差异处理
- 版本检查:设置中心通过 GitHub 镜像(ghproxy/gh-proxy/mirror.ghproxy,或并发自动探测)查询最新 Release

!Web UI

 版本与变更

完整 changelog 见 GitHub Releases。各版本的能力差异已并入下方对应章节,本节不再单独罗列。

 架构概览

 运行入口

- cmd/novel-dl/main.go
- internal/cli/root.go

CLI、Web、桌面壳层都复用同一套后端能力:

text
CLI / Web / Desktop
    - config.Load / LoadOrInitConfig
    - app.NewRuntime
    - site.Registry 选择站点适配器
    - Search / DownloadPlan / FetchChapter
    - store.Library 分阶段持久化
    - pipeline.Runner 处理正文
    - exporter.Service 导出文件


 主要目录

text
cmd/novel-dl/        CLI 入口
internal/app/        运行时组装、聚合搜索、下载编排
internal/cli/        Cobra 命令与终端交互
internal/config/     配置模型、SQLite 存储、配置合并
internal/exporter/   TXT / HTML / EPUB 导出
internal/model/      书籍、章节、搜索结果等模型
internal/pipeline/   文本处理流水线
internal/progress/   下载进度上报抽象
internal/site/       各站点适配器、能力声明、URL 解析
internal/state/      轻量运行状态,如界面语言
internal/store/      本地书籍分阶段存储
internal/textconv/   简繁转换与文本规范化
internal/ui/         CLI 控件与控制台交互
internal/web/        Gin 服务、Web API、前端模板
desktop/             桌面壳层,启动内嵌 Web 后端
docs/architecture.md 附加架构说明


 聚合搜索

internal/app/discovery.go 中的 HybridSearch 会:

- 并发调用多个站点的 Search
- 当调用方设置 OverallLimit 时,聚合结果达到上限即返回,并通过 context 取消剩余慢源请求
- 单站点失败会被记录为 warning,不会让已收集到的其它站点结果失效
- 用归一化后的书名/作者进行分组
- 为每组结果选择一个主结果
- 保留全部来源变体,供 Web 详情和下载时切换

主结果优先级不只看命中度,还会参考:

- 默认站点优先顺序
- 是否有简介
- 是否有封面
- 是否有最新章节信息

 配置模型

当前配置不是 TOML 文件,而是 SQLite:

- 配置文件路径:data/site_catalog.db
- 全局配置:保存在 config_kvs.general_config
- 站点配置:保存在 site_catalog
- 首次运行会自动初始化数据库

当前默认全局值来自 internal/config/defaults.go:

| 项目           | 默认值               |
| -------------- | -------------------- |
| 原始数据目录   | ./data/raw_data    |
| 导出目录       | ./data/downloads   |
| 缓存目录       | ./data/novel_cache |
| 禁用缓存       | false              |
| 全局并发       | 4                  |
| 最大连接数     | 10                 |
| 超时           | 10s                |
| Web 每页       | 50                

Top issues

Latest release

v1.0.21 v1.0.21 2026-11-15
Changelog
 9a6f66440ffc67677c1ea1375199454913c95673 功能:更新多个发现列表的处理逻辑,添加对直接书单的支持,优化书架按钮状态管理,并调整相关测试用例
 a94df3c139e95a048c93026e3fe20672b888910d 功能:更新版本号至 1.0.21
 cccefcc8df04a56ea7985e9e6e22260ae3ef005a 功能:更新起点书单处理逻辑,增加对热门收藏书单的支持,并完善相关测试用例以验证新功能
 ac397d77def8e9eb9309704fb5312be758100779 功能:添加对书荒殿的支持,包括站点注册、元数据配置、发现列表和书籍搜索功能,并更新相关测试用例
 31bf7652516a5359d6e0b0d3718772bd90884ddb 功能:添加封面 URL 支持到下载任务,更新相关逻辑和测试用例以验证新功能

Snapshot: 2026-11-16T23:08:42Z · Data license Apache-2.0 · JSON