2023最新代理IP池+爬取某小说网站下载

weixin_39821260 2023-01-23 18:00:14
文件功能介绍如下: 1.ip_api.py 代理API接口,这里地址我放到本地了 2.ip_collection.py 采集代理ip网站,这里总共采集了6个代理ip网站,目前我只采集了首页的ip,这些网站活跃度还可以,基本每日抓取一次即可 3.ip_verify.py 代理ip校验,检测代理IP是否可用 4.ip_set.py 开了三个进程,同时进行采集存储,校验代理ip和api调用接口同时运行 5.proxy_redis.py 这里代理ip目前放到redis中,该文件保护redis的各种操作 6.settings.py 配置文件不需要多说 7.ua_down.py 随机获取UA,这里我单独写入到一个文件中,看情况是否需要结合项目 8.uaTools.py 如果使用随机UA的话调用该文件即可,我在池子里随便放了将近三百个UA 9.爬小说网站.py 爬取某小说网站并下载保存到本地TXT文件 用到的包如下: sanic、sanic_cors、requests、lxm、redis、fake_useragent 项目还有很多的优化空间,小伙伴们自行消化吧 , 相关下载链接:https://download.csdn.net/download/Acoit/87370678?utm_source=bbsseo
...全文
9 回复 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

13,656

社区成员

发帖
与我相关
我的任务
社区描述
CSDN 下载资源悬赏专区
其他 技术论坛(原bbs)
社区管理员
  • 下载资源悬赏专区社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧