yangyangwithgnu /hardseed

SEX IS ZERO (0), so, who wanna be the ONE (1), aha?

★ 9,189⑂ 1,762👁 646⑃ 11● 82▤ 0
C++GPL-2.0Created 2014-07-17
+1
日增长
9,189
stars
1,762
forks
646
watchers
11
prs
82
issues
0
releases

README

给不了你梦中情人,至少还有硬盘女神:hardseed
[email protected]  
http://yangyangwithgnu.github.io/  
2016-02-04 14:53:51


谢谢

捐赠:支付宝 [email protected] ,支付宝二维码(左),微信二维码(右)





二手书:书,我提高开发技能的重要手段之一,随着职业生涯的发展,书籍也在不断增多,对我而言,一本书最多读三遍,再往后,几乎没有什么营养吸收,这部分书对我已基本无用,但对其他人可能仍有价值,所以,为合理利用资源,我决定低价出售这些书,希望达到两个目的:0)用售出的钱购买更多新书(没当过雷锋的朋友 (๑´ڡ๑));1)你低价购得需要的书(虽然二手)。到 https://github.com/yangyangwithgnu/used_books 看看有无你钟意的。


公告
----------------

讨论:任何意见建议移步 https://www.v2ex.com/t/123175  

声明:我本人绝对尊重各大爱的论坛,提供的资源不仅优质而且免费,我只是懒、足够的懒。请大家支持这些论坛,多用页面访问、多点击广告、多解囊捐赠。我..在..干..嘛  @_@

注意  
+ 代理是一切的先决条件。你可以使用自己的代理工具,用 hardseed 的命令行选项 --proxy 指定本地中转地址及端口,也可以用我为你预配置的 goagent 代理工具,位于 https://github.com/yangyangwithgnu/goagent_out_of_box_yang


版本
----------------

[v0.2.14-1,修正,2016-02-04]:0)行了、行了,我抱歉,不知道有这么多 win 用户需要 hardseed,之前是我狭隘了,只考虑到 unix-like 用户。编译好的 win 版本程序送你,位于 bin\build_4_win.7z;1)另外,osX 下的构建方面进行了细化。新年快乐!  
[v0.2.14,修正,2016-01-31]:0)忽略解析 aicheng 站务相关帖子。  
[v0.2.13,修正,2016-01-17]:0)修正 caoliu 翻页的错误。  
[v0.2.12,优化,2015-05-26]:0)先前 hardseed 中硬编码 aicheng 和 caoliu 论坛入口地址,地址一旦变更,每次需要重新调整代码,很是麻烦,现在我在本项目主页中放了一份配置文件 config/portals_list.json,hardseed 自动从该文件中获取最新论坛入口地址(安啦,我会及时更新的);1)调整部分公共库代码。  
[v0.2.11,修正,2015-03-22]:修正 aicheng 种子和图片解析错误的问题(别发邮件了哈,亲,邮箱都他妈快撑爆了) 。  
[v0.2.10,修正,2014-12-07]:caoliu 地址变更,shit :-P  
[v0.2.09,修正,2014-11-30]:caoliu 地址变更。  
[v0.2.08,修正,2014-10-21]:0)仅解析主贴的图片而不再解析回帖,以避免下载无关图片;1)aicheng 论坛地址变更;2)部分用户有自己的代理工具,为缩短下载时长,将预配置的 goagent 独立成一个 github 项目。  
[v0.2.07,修正,2014-09-25]:windows 禁止文件名中含有 /:\?\\<"| 等字符,否则将导致非法路径错误,修正 hardseed 生成的文件名中可能含有如上字符的问题。  
[v0.2.06,优化,2014-09-09]:caoliu 原地址无法访问,更新地址;取消 caoliu 自拍套图最多只能下载 256 张的限制。  
[v0.2.05,优化,2014-08-17]:程序功能无任何更新,仅更新代理工具 goagent 配置文件 proxy.ini:一是设置 obfuscate = 1 开启流量混淆以正确解析出可用 GGC IP,一是设置 pagespeed = 1 以提升 GAE 的下行速度。  
[v0.2.05,修正,2014-08-13]:0)修正帖子部分图片 URL 未解析的问题;1)修正图片序号错误的问题;2)优化图片下载等待时长算法,不再以 --timeout-download-picture 作为绝对等待时长,而是将其作为指导值,一旦图片下载失败 hardseed 将自动计算下次重新下载所需的等待时长,同时,与“速度过低视为下载失败”的机制结合,提升图片下载等待耗时;3)升级 goagent 至 3.1.21,采用 goagent 默认 proxy.ini,而不再使用自定义 iplist (很多朋友反应采用先前我自定义 iplist 版本的 goagent 速度不理想,这是由于 GGC IP 与不同网络环境有关,我用 checkgoogleip 跑出来 GGC IP 最适合我的网络环境,不见得适合你,所以,权衡之下,还是用 goagent 自带的 GGC IP,至少这合适于大多数人)。  
[v0.2.04,修正,2014-08-10]:0)由于对 % 进行 URL 转义使得部分图片的 URL 生成错误,导致图片下载失败,本版本已修正;1)剔除长年显示异常的图床网站 iceimg.com;2)引入均速过低视为下载失败的机制,持续(8s)低速(4KB/s)终止当次下载,重新向服务端发起新请求,开启新一次的下载,以缩短下载错误 URL 图片等待时长;3)修正 aicheng 帖子列表页面中帖子名解析错误的问题;4)取消单个代理服务器并行下载上限数 8 的限制。  
[v0.2.03,修正,2014-08-08]:0)修正部分图片缺失扩展名的问题;1)默认下载帖子数量从 128 调整为 64;2)更换新的 GGC IP 进代理工具 goagent 的 proxy.ini 中以提升代理速度。  
[v0.2.02,优化,2014-08-06]:程序无任何功能变更,仅是优化代码,合并部分通用代码至公共库、增加用于验证代理出口 IP 和伪装浏览器的 user-agent 的接口。  
[v0.2.01,修正,2014-07-28]:修正临时文件未删除的错误。  
[v0.2.00,新增,2014-07-23]:应 @sigmadog 需求,增加抓取 caoliu 上自拍套图(江湖人称“達蓋爾的旗幟”)的功能。  
[v0.1.00,修正,2014-07-21]:caoliu 论坛增加了反机器人机制,若翻页过快则视为机器人行为,下载页面为空白页。此版本可应对它的反机器人机制。


演示  
----------------
hardseed  
!hardseed gif demo  
running  
!hardseed gif demo  
more seeds and pictures  
!hardseed gif demo  

http://v.youku.com/v_show

Top issues

Snapshot: 2026-11-16T09:23:14Z · Data license Apache-2.0 · JSON