文件功能介绍如下:
1.ip_api.py 代理API接口,这里地址我放到本地了
2.ip_collection.py 采集代理ip网站,这里总共采集了6个代理ip网站,目前我只采集了首页的ip,这些网站活跃度还可以,基本每日抓取一次即可
3.ip_verify.py 代理ip校验,检测代理IP是否可用
4.ip_set.py 开了三个进程,同时进行采集存储,校验代理ip和api调用接口同时运行
5.proxy_redis.py 这里代理ip目前放到redis中,该文件保护redis的各种操作
6.settings.py 配置文件不需要多说
7.ua_down.py 随机获取UA,这里我单独写入到一个文件中,看情况是否需要结合项目
8.uaTools.py 如果使用随机UA的话调用该文件即可,我在池子里随便放了将近三百个UA
9.爬小说网站.py 爬取某小说网站并下载保存到本地TXT文件
用到的包如下:
sanic、sanic_cors、requests、lxm、redis、fake_useragent
项目还有很多的优化空间,小伙伴们自行消化吧
, 相关下载链接:
https://download.csdn.net/download/Acoit/87370678?utm_source=bbsseo