2023最新代理IP池+爬取某小说网站下载

[weixin_39821260]

文件功能介绍如下： 1.ip_api.py 代理API接口，这里地址我放到本地了 2.ip_collection.py 采集代理ip网站，这里总共采集了6个代理ip网站，目前我只采集了首页的ip，这些网站活跃度还可以，基本每日抓取一次即可 3.ip_verify.py 代理ip校验，检测代理IP是否可用 4.ip_set.py 开了三个进程，同时进行采集存储，校验代理ip和api调用接口同时运行 5.proxy_redis.py 这里代理ip目前放到redis中，该文件保护redis的各种操作 6.settings.py 配置文件不需要多说 7.ua_down.py 随机获取UA，这里我单独写入到一个文件中，看情况是否需要结合项目 8.uaTools.py 如果使用随机UA的话调用该文件即可，我在池子里随便放了将近三百个UA 9.爬小说网站.py 爬取某小说网站并下载保存到本地TXT文件 用到的包如下： sanic、sanic_cors、requests、lxm、redis、fake_useragent 项目还有很多的优化空间，小伙伴们自行消化吧 , 相关下载链接：https://download.csdn.net/download/Acoit/87370678?utm_source=bbsseo