社区
PHP
帖子详情
PHP如何在多IP服务器中切换IP采集数据?
一秒一次郎
2013-06-17 03:44:25
在PHP 中使用CURL 采集某URL数据,由于服务器拥有有多个IP,所以想在CURL中切换不同的IP来采集以防止被封,但是发现curl_setopt($ci, CURLOPT_PROXY, '1.1.1.1'); 这种不可用
请问有什么解决办法,或者不使用curl 用snoopy等也可以,请大家指教
...全文
157
2
打赏
收藏
PHP如何在多IP服务器中切换IP采集数据?
在PHP 中使用CURL 采集某URL数据,由于服务器拥有有多个IP,所以想在CURL中切换不同的IP来采集以防止被封,但是发现curl_setopt($ci, CURLOPT_PROXY, '1.1.1.1'); 这种不可用 请问有什么解决办法,或者不使用curl 用snoopy等也可以,请大家指教
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
design321
2013-06-19
打赏
举报
回复
1,把$ip做成变量,随机取用你的IP数组里的ip 2,还可以控制采集次数,换一次IP
Meteorlet
2013-06-19
打赏
举报
回复
用fsockopen function get_from_website($ip, $domain) { $content = ''; $fp = fsockopen($ip, 80); fputs($fp, 'GET / HTTP/1.0\r\n'); fputs($fp, 'Host; '.$domain.'\r\n\r\n'); while(!foef($fp)) { $content += fgets($fp, 1024); } fclose($fp); return $content; } get_from_website('1.1.1.1', 'example.com'); get_from_website('1.1.1.2', 'example.com'); get_from_website('1.1.1.3', 'example.com'); get_from_website('1.1.1.4', 'example.com');
PHP
网站实例开发源码——守望
数据
采集
器.rar
PHP
网站实例开发源码——守望
数据
采集
器.rar
PHP
实例开发源码—
PHP
采集
网-英文论坛.z
ip
PHP
实例开发源码—
PHP
采集
网-英文论坛.z
ip
PHP
实例开发源码—
php
创智邮箱
采集
程序源码(Mailex).z
ip
PHP
实例开发源码—
php
创智邮箱
采集
程序源码(Mailex).z
ip
YGBOOK带
采集
规则
伪静态配置参见压缩包
中
txt 文件,针对不同环境的有不同配置说明(自带.htacess 文件重新优化了兼容性,解决了 apache+nts 模式下可能出现的“No input file specified.”问题) 安装步骤: 1.将文件解压后上传至相应目录等 2.网站必须配置好伪静态(参考上一步配置),才能正常进行安装和使用(初次访问首页会自动进入安装页面,或手动输入 http://www.域名.com/install) 3.同意使用协议进入下一步检测目录权限 4.检测通过后,填写常规
数据
库配置项,填写正确即可安装成功,安装成功后会自动进入后台页面 http://www.域名.com/admin,填写安装时输入的后台管理员和密码即可登录 5.在后台文章列表页面,可以进行手动
采集
文章,和批量
采集
文章
数据
。初次安装完毕建议
采集
一些
数据
填充网站内容。网站在运行过程
中
,会自动执行
采集
操作(需前台访问触发,蜘蛛亦可触发
采集
),无须人工干预 环境要求:
PHP
5.4 以上,有伪静态功能。推荐配置,
php
7.1,mysql5.6+ 主机要求:IIS/APACHE/NGINX 均可,虚拟主机/VPS/
服务器
/云
服务器
均可。推荐使用 linux 系统,apache/nginx 均可 硬件要求:CPU/内存/硬盘/宽带大小无要求,但配置越高,
采集
效率会更好! 其他要求:如
采集
目标站
服务器
在国内,而你的主机在国外,会产生
采集
效率低的问题。应尽量选择同区域的网站进行
采集
,美国
服务器
宜选择机房设在美国的小说站,国内
服务器
则选择国内站点,以尽可能提升网站速度。 更新提示: 1.增加关键词功能,可批量添加,可自定义 tdk 2.增加广告位管理功能 3.增加百度站内搜索功能,并修复百度结构化
数据
封面错误的 bug 4.增加图片懒加载功能,可 PC 开启或全站开启或关闭 5.增加小说黑名单、
IP
黑名单功能 6.增加作者功能 7.增加指定节点按 ID
采集
的功能(范围或指定) 8.友情链接改版,允许同名关键词 9.修复章节内容编辑后乱码问题 10.增加原创功能 11.增加小说按节点批量转换新节点功能,指定小说转换节点功能 12.新增百度主动推送功能 13.新增 singlebiquge 模板,适用于主推单本小说 14.重采功能,如文
中
出现关键词(正在手打
中
,可指定关键词)之类的,下次阅读将重新从源站
采集
15.章节 url 和缓存
中
url 不一致时重新
采集
内容,以解决换节点导致的章节不对应或源站编辑删除重复章节的问题 16.增加简繁
切换
功能,并记录 cookies,
切换
页面自动转换 17.修复栏目页自定义 TDK 无效的问题,增加小说页面单本小说自定义 TDK 18.更换加密方案,新版本使用全新授权文件,旧版本不受影响。后台授权检测间隔调整到 24 小时,以减少授权
服务器
对用户网站后台的影响 19.增加节点库定义,已入库小说在其他节点遇到也会进入节点库,便于小说
切换
其他节点。也就意味着,如果你的节点库没有这本小说在新节点的记录,这本小说就无法
切换
到指定节点。 20.功能模块拆分,便于后续增强 21.修复 sitemap
中
时间不显示的 bug,增加对 google 和 https 的兼容 22.其他大量功能优化,不再一一赘述
php
采集
时
切换
ip
,
PHP
如何在多
IP
服务器
中
切换
IP
采集
数据
?
在
PHP
中
使用CURL
采集
某URL
数据
,由于
服务器
拥有有多个
IP
,所以想在CURL
中
切换
不同的
IP
来
采集
以防止被封,但是发现curl_setopt($ci, CURLOPT_PROXY, '1.1.1.1'); 这种不可用请问有什么解决办法,或者不使用curl 用snoopy等也可以,请大家指教回复讨论(解决方案)用fsockopenfunction get_from_website($
ip
...
PHP
20,396
社区成员
19,657
社区内容
发帖
与我相关
我的任务
PHP
“超文本预处理器”,是在服务器端执行的脚本语言,尤其适用于Web开发并可嵌入HTML中。PHP语法利用了C、Java和Perl,该语言的主要目标是允许web开发人员快速编写动态网页。
复制链接
扫一扫
分享
社区描述
“超文本预处理器”,是在服务器端执行的脚本语言,尤其适用于Web开发并可嵌入HTML中。PHP语法利用了C、Java和Perl,该语言的主要目标是允许web开发人员快速编写动态网页。
php
phpstorm
技术论坛(原bbs)
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章