社区
基础编程
帖子详情
关于爬虫的问题
煎饼果子加仨蛋
2019-04-28 03:32:49
接到了一个需求,需要去抓取网站用户的手机号。目前的做法是通过模拟手机号进行登录,通过对方服务器返回来的状态来判断该手机号是否属于该网站。
现在遇到了一个问题是需要模拟的手机号数量实在是太多了,要从13,000,000,000~19,999,999,999,单进程跑每分钟能跑2000个,所以必然不能用这种方式。如果是多批次的去跑的话大概分成多少个合适呢,或者说有没有大佬做过类似的项目,有没有什么思路的建议。
...全文
838
4
打赏
收藏
关于爬虫的问题
接到了一个需求,需要去抓取网站用户的手机号。目前的做法是通过模拟手机号进行登录,通过对方服务器返回来的状态来判断该手机号是否属于该网站。 现在遇到了一个问题是需要模拟的手机号数量实在是太多了,要从13,000,000,000~19,999,999,999,单进程跑每分钟能跑2000个,所以必然不能用这种方式。如果是多批次的去跑的话大概分成多少个合适呢,或者说有没有大佬做过类似的项目,有没有什么思路的建议。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
云小凡
2019-05-12
打赏
举报
回复
何必呀、111,123,145,120这些都是没用的、至少在中国是这样、选择一些见得到的手机号。
螺丝刀2019
2019-05-09
打赏
举报
回复
楼主的思路,我是, 不明白啊。。。
繁华落幕、
2019-04-29
打赏
举报
回复
采用多进程运行 进程数量 = 服务器的cpu 1-4倍
horizon_zpy
2019-04-28
打赏
举报
回复
模拟手机号进行登录,通过对方服务器返回来的状态来判断该手机号是否属于该网站。
什么是模拟手机号登录?
网络
爬虫
常见
问题
汇总
网络
爬虫
常见
问题
汇总
问题
一:使用requests库或者urllib库获取源代码时无法正常显示中文 解决方法: (1)requests库的文本中有两种类型,一种是文本类型,使用text属性,一种是针对音频、视频、图片等二进制数据...
爬虫
遇到js动态渲染
问题
概要:关于scrapy
爬虫
应对网页JavaScript动态渲染
问题
关键字:scrapy crapy-splash 一、传统
爬虫
的
问题
scrapy
爬虫
与传统
爬虫
一样,都是通过访问服务器端的网页,获取网页内容,最终都是通过对于网页内容的分析来...
Python
爬虫
基础:使用 Python
爬虫
时经常遇到的
问题
合集
不少读者朋友在使用
爬虫
遇到
问题
时也会跟我讨论,交流过程中我发现了一些比较共性的
问题
。 因此文章重点放在了思路分析上,具体如何编写代码爬取数据则简单略过。造成了一些读者,基于我的代码进行修改爬取其他...
爬虫
面试常见
问题
许多自学
爬虫
(python)的小伙伴因为没有经历过面试所以在找工作之前难免有些抓不住重点,虽然自己有些技术但是因为发挥不好而错失工作机会,本人经过n次面试以后特总结以下面试常见
问题
,为想要转
爬虫
的小伙伴提供...
python
爬虫
答辩
问题
_python
爬虫
中采集中遇到的
问题
整理
今天小编想就
爬虫
采集数据时遇到的
问题
进行一个整理,以及在遇到不同的
问题
时,我们应该想的是什么样的解决思路,具体内容如下分享给大家。1、需要带着cookie信息访问比如大多数的社交化软件,基本上都是需要用户...
基础编程
21,886
社区成员
140,364
社区内容
发帖
与我相关
我的任务
基础编程
从PHP安装配置,PHP入门,PHP基础到PHP应用
复制链接
扫一扫
分享
社区描述
从PHP安装配置,PHP入门,PHP基础到PHP应用
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章