秀人集爬虫 【22.09.04】【Windows】

更新日志:
22.9.4
1.调整超时时间为10秒
2.换了个进度条
3.下载异常处理可能不生效的问题
22.4.12
增加-e early stop参数,配合整站爬取使用,单独无效.如果没有完成整站爬取不要使用该参数,终止逻辑过于简单粗暴。首次爬取尽量使用批处理死循环,开多进程处理。
22.1.18
1.兼容更新后的秀人集网站,支持搜索以及全站爬取。
2.修改默认域名为https://www.xiurenji.net(暂时可以不使用-s 参数)。
22.1.20
1.修复页面异常可能导致的异常终止
22.1.24
1.增加-r参数,支持分类重拍,可以开启多个进程进行爬取。说实话就是姐姐太懒了,不想写多线程。
2.增加-c参数,支持爬取特定分类,请直接-c 分类地址。具体参数见下方使用说明。

****************************************************************************************************
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
         -a <download all site images>
         -q <query the image with keywords>
         -h <display help text, just this>
Option Arguments:
         -p <image download path>
         -r <random index category list> (该参数会重新排列分类列表,可以开启多个进程同时进行爬取)
         -c <single category url> (支持单分类爬取,如果只想爬取某一个分类请使用该参数)
         -e <early stop, work in site crawl mode only> (配合整站爬取使用,多次检测到已经下载自动跳过该分类)
         -s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
************************************************************************************
效果:
(venv) PS F:\Pycharm_Projects\meitulu-spider> python .\xiurenji.py  -a -r -s https://www.xiurenb.cc -e -p I:\test
****************************************************************************************************
       _           _             ____
  ___ | |__   __ _| |__  _   _  / __ \ _ __ ___   __ _ _ __ ___
 / _ \| '_ \ / _` | '_ \| | | |/ / _` | '_ ` _ \ / _` | '__/ __|
| (_) | |_) | (_| | |_) | |_| | | (_| | | | | | | (_| | |  \__ \
 \___/|_.__/ \__,_|_.__/ \__, |\ \__,_|_| |_| |_|\__,_|_|  |___/
                         |___/  \____/

秀人集爬虫
Verson: 22.09.04
Blog: http://www.h4ck.org.cn
****************************************************************************************************
****************************************************************************************************
[*] 2022-09-04 20:06:42 CAT: 开始分析分类信息......
[*] 2022-09-04 20:06:42 CAT: 分析完成,分类数:25
****************************************************************************************************
[*] 2022-09-04 20:06:42 CAT: 重新排列分类信息
[*] 2022-09-04 20:06:42 CAT: 重新索引完成,分类数:25
****************************************************************************************************
[*] 2022-09-04 20:06:42 MFStar模范学院: https://www.xiurenb.cc/MFStar/
[*] 2022-09-04 20:06:42 LeYuan星乐园: https://www.xiurenb.cc/LeYuan/
[*] 2022-09-04 20:06:42 最新更新: https://www.xiurenb.cc/new.html
[*] 2022-09-04 20:06:42 HuaYang花漾: https://www.xiurenb.cc/HuaYang/
[*] 2022-09-04 20:06:42 MintYe薄荷叶: https://www.xiurenb.cc/MintYe/
[*] 2022-09-04 20:06:42 MiStar魅妍社: https://www.xiurenb.cc/MiStar/
[*] 2022-09-04 20:06:42 站长推荐: https://www.xiurenb.cc/hot.html
[*] 2022-09-04 20:06:42 Candy糖果画报: https://www.xiurenb.cc/Candy/
[*] 2022-09-04 20:06:42 Taste顽味生活: https://www.xiurenb.cc/Taste/
[*] 2022-09-04 20:06:42 Uxing优星馆: https://www.xiurenb.cc/Uxing/
[*] 2022-09-04 20:06:42 YouWu尤物馆: https://www.xiurenb.cc/YouWu/
[*] 2022-09-04 20:06:42 XiaoYu画语界: https://www.xiurenb.cc/XiaoYu/
[*] 2022-09-04 20:06:42 MyGirl美媛馆: https://www.xiurenb.cc/MyGirl/
[*] 2022-09-04 20:06:42 MiiTao蜜桃社: https://www.xiurenb.cc/MiiTao/
[*] 2022-09-04 20:06:42 Imiss爱蜜社: https://www.xiurenb.cc/IMiss/
[*] 2022-09-04 20:06:42 YouMi尤蜜荟: https://www.xiurenb.cc/YouMi/
[*] 2022-09-04 20:06:42 HuaYan花の颜: https://www.xiurenb.cc/HuaYan/
[*] 2022-09-04 20:06:42 BoLoli兔几盟: https://www.xiurenb.cc/BoLoli/
[*] 2022-09-04 20:06:42 XingYan星颜社: https://www.xiurenb.cc/XingYan/
[*] 2022-09-04 20:06:42 FeiLin嗲囡囡: https://www.xiurenb.cc/FeiLin/
[*] 2022-09-04 20:06:42 DKGirl御女郎: https://www.xiurenb.cc/DKGirl/
[*] 2022-09-04 20:06:42 Micat猫萌榜: https://www.xiurenb.cc/Micat/
[*] 2022-09-04 20:06:42 MTMeng模特联盟: https://www.xiurenb.cc/MTMeng/
[*] 2022-09-04 20:06:42 WingS影私荟: https://www.xiurenb.cc/WingS/
[*] 2022-09-04 20:06:42 XiuRen秀人网: https://www.xiurenb.cc/XiuRen/
[*] 2022-09-04 20:06:42 CAT: 索引完成,分类数:25
****************************************************************************************************
****************************************************************************************************
[*] 2022-09-04 20:06:42 CAT: 开始处理分类:MFStar模范学院
https://www.xiurenb.cc/MFStar/index2.html
****************************************************************************************************
[*] 2022-09-04 20:06:43 PAGE: 开始分析页面链接
[*] 2022-09-04 20:06:43 DOWNLOAD: 开始下载:[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P
[*] 2022-09-04 20:06:43 DOWNLOAD: https://www.xiurenb.cc/MFStar/11358.html
[*] 2022-09-04 20:06:43 DOWNLOAD: 下载目录:[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P
[*] 2022-09-04 20:06:44 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/1B203526524.jpg
[*] 2022-09-04 20:06:44 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\54d1d2f846ee064daa68847da20301e8.jpg
[D] 下载进度:: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 342025/342025 [00:00<00:00, 399207.13it/s]
[*] 2022-09-04 20:06:47 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/6C203527304.jpg
[*] 2022-09-04 20:06:47 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\eba3991257639d66dc5481a96b951a15.jpg
[*] 2022-09-04 20:06:57 EXP: 发生异常,HTTPSConnectionPool(host='www.xiurenb.cc', port=443): Read timed out. (read timeout=10) ,继续处理后续图片
[*] 2022-09-04 20:06:57 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/75203527823.jpg
[*] 2022-09-04 20:06:57 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\4adc3b81a1a93a72a60eaf15d9b3f490.jpg
[D] 下载进度:: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 425431/425431 [00:01<00:00, 418986.23it/s]
[*] 2022-09-04 20:07:05 IMG: 下载完成,下一页:https://www.xiurenb.cc/MFStar/11358_1.html
[*] 2022-09-04 20:07:10 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/1C203527335.jpg
[*] 2022-09-04 20:07:10 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\fe61fc4b418d3ec33b363ca606a24955.jpg
[D] 下载进度:: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 429434/429434 [00:00<00:00, 554490.08it/s]
[*] 2022-09-04 20:07:16 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/27203527463.jpg
[*] 2022-09-04 20:07:16 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\74f2c534364597cef60fc1add84c14d8.jpg
[D] 下载进度:: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 277942/277942 [00:00<00:00, 438395.10it/s]
[*] 2022-09-04 20:07:18 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/27203527388.jpg
[*] 2022-09-04 20:07:18 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\83a287de221a08b60139ec82b30f9534.jpg
[D] 下载进度:: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 375962/375962 [00:00<00:00, 533614.42it/s]
[*] 2022-09-04 20:07:21 IMG: 下载完成,下一页:https://www.xiurenb.cc/MFStar/11358_2.html
[*] 2022-09-04 20:07:23 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/51203527685.jpg
[*] 2022-09-04 20:07:23 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\7939ba78e0619a41ec2dfdf51137bd10.jpg

下载地址:

温馨提示: 此处隐藏内容需要发表评论,并且审核通过后才能查看。
(发表评论请勾选 在此浏览器中保存我的显示名称、邮箱地址和网站地址,以便下次评论时使用。
(请仔细检查自己的昵称和评论内容,以免被识别为垃圾评论而导致无法正常审核。)

☆版权☆

* 网站名称:obaby@mars
* 网址:https://oba.by/
* 个性:https://oba.by/
* 本文标题: 《秀人集爬虫 【22.09.04】【Windows】》
* 本文链接:https://oba.by/2022/09/10443
* 短链接:https://oba.by/?p=10443
* 转载文章请标明文章来源,原文标题以及原文链接。请遵从 《署名-非商业性使用-相同方式共享 2.5 中国大陆 (CC BY-NC-SA 2.5 CN) 》许可协议。


猜你喜欢:

95 comments

  1. Microsoft Edge 111 Microsoft Edge 111 Windows 10 Windows 10 ru俄罗斯

    站长太勤勉了,好久没上你博客,又更新这么多了!

  2. Google Chrome 111 Google Chrome 111 Windows 10 Windows 10 tw台湾省 中华电信(HiNet)数据中心

    感谢分享,嘗試看看

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注