社区
PHP
帖子详情
PHP如何在多IP服务器中切换IP采集数据?
一秒一次郎
2013-06-17 03:44:25
在PHP 中使用CURL 采集某URL数据,由于服务器拥有有多个IP,所以想在CURL中切换不同的IP来采集以防止被封,但是发现curl_setopt($ci, CURLOPT_PROXY, '1.1.1.1'); 这种不可用
请问有什么解决办法,或者不使用curl 用snoopy等也可以,请大家指教
...全文
173
2
打赏
收藏
PHP如何在多IP服务器中切换IP采集数据?
在PHP 中使用CURL 采集某URL数据,由于服务器拥有有多个IP,所以想在CURL中切换不同的IP来采集以防止被封,但是发现curl_setopt($ci, CURLOPT_PROXY, '1.1.1.1'); 这种不可用 请问有什么解决办法,或者不使用curl 用snoopy等也可以,请大家指教
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
design321
2013-06-19
打赏
举报
回复
1,把$ip做成变量,随机取用你的IP数组里的ip 2,还可以控制采集次数,换一次IP
Meteorlet
2013-06-19
打赏
举报
回复
用fsockopen function get_from_website($ip, $domain) { $content = ''; $fp = fsockopen($ip, 80); fputs($fp, 'GET / HTTP/1.0\r\n'); fputs($fp, 'Host; '.$domain.'\r\n\r\n'); while(!foef($fp)) { $content += fgets($fp, 1024); } fclose($fp); return $content; } get_from_website('1.1.1.1', 'example.com'); get_from_website('1.1.1.2', 'example.com'); get_from_website('1.1.1.3', 'example.com'); get_from_website('1.1.1.4', 'example.com');
PHP
网站实例开发源码——守望
数据
采集
器.rar
PHP
网站实例开发源码——守望
数据
采集
器.rar
php
采集
时
切换
ip
,
PHP
如何在多
IP
服务器
中
切换
IP
采集
数据
?
在
PHP
中
使用CURL
采集
某URL
数据
,由于
服务器
拥有有多个
IP
,所以想在CURL
中
切换
不同的
IP
来
采集
以防止被封,但是发现curl_setopt($ci, CURLOPT_PROXY, '1.1.1.1'); 这种不可用请问有什么解决办法,或者不使用curl 用snoopy等也可以,请大家指教回复讨论(解决方案)用fsockopenfunction get_from_website($
ip
...
PHP
利用socket_bind函数
切换
IP
地址
采集
数据
在利用
PHP
进行
数据
采集
的过程
中
,通常会遇到
IP
被屏蔽或出现验证码的情况;为了能够继续
采集
,我们需要
切换
不同的
ip
,每访问一次,随机
切换
一个
IP
。当然也可以通过收集大量代理,通过
切换
代理的方式进行
采集
,原理大抵相似。 因为本人在实际工作
中
遇到这种情况,刚好发生的场景在美国站群的
服务器
,上面有已经绑定了200多个
ip
(这种
服务器
1300元一月),因此可以轻松的利用socket_bind(...
如何使用代理
IP
进行
数据
采集
,
PHP
爬虫抓取亚马逊商品
数据
本文关键词:代理
IP
,私密代理
IP
,私密代理
IP
数据
采集
什么是代理?什么情况下会用到代理
IP
?如何使用代理
IP
进行
数据
采集
代理
服务器
的功能就是代理用户去获取网络信息,之后再把相应的信息反馈给客户。用一个比较靠谱的比喻来说代理
服务器
相当于一个
中
介的环节。它是网络信息的
中
转站。通过代理
IP
访问目标网站,可以隐藏用户的真实
IP
地址 例如要想要抓取一个内容有100万条的网站,但是他们设...
php
使用代理
IP
进行
数据
抓取
什么是代理?什么情况下会用到代理
IP
?代理
服务器
(Proxy Server),其功能就是代用户去取得网络信息,然后返回给用户。形象的说:它是网络信息的
中
转站。通过代理
IP
访问目标站,可以隐藏用户的真实
IP
。 比如你要抓取一个网站
数据
,该网站有100万条内容,他们做了
IP
限制,每个
IP
每小时只能抓1000条,如果单个
IP
去抓因为受限,需要40天左右才能
采集
完,如果用了代理
IP
,不停的
切换
IP
,就可...
PHP
20,394
社区成员
19,656
社区内容
发帖
与我相关
我的任务
PHP
“超文本预处理器”,是在服务器端执行的脚本语言,尤其适用于Web开发并可嵌入HTML中。PHP语法利用了C、Java和Perl,该语言的主要目标是允许web开发人员快速编写动态网页。
复制链接
扫一扫
分享
社区描述
“超文本预处理器”,是在服务器端执行的脚本语言,尤其适用于Web开发并可嵌入HTML中。PHP语法利用了C、Java和Perl,该语言的主要目标是允许web开发人员快速编写动态网页。
php
phpstorm
技术论坛(原bbs)
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章