社区
PHP
帖子详情
根据地区IP 采集百度搜索结果数据,如何模拟IP抓取数据?
阿里嘎哆吃板面
2014-09-03 04:35:32
百度搜索出的数据根据地区的IP 判断, 结果都是有差异的,比如北京的用户和广东的用户搜索医院关键字的时候,显示的除的结果是有差异的。 现在我想通过模拟IP 去抓取百度的结果, 我使用了CURL 去模拟IP 和来源,但是结果都没有效果。
...全文
265
6
打赏
收藏
根据地区IP 采集百度搜索结果数据,如何模拟IP抓取数据?
百度搜索出的数据根据地区的IP 判断, 结果都是有差异的,比如北京的用户和广东的用户搜索医院关键字的时候,显示的除的结果是有差异的。 现在我想通过模拟IP 去抓取百度的结果, 我使用了CURL 去模拟IP 和来源,但是结果都没有效果。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
春哥视角
2014-09-07
打赏
举报
回复
IP是不能模拟的,建立TCP/IP连接必然是真实IP 你只能用代理服务器解决 你能把你的curl语句贴出来吗
z109876543210
2014-09-05
打赏
举报
回复
能模拟吗? 只能用代理ip吧
阿里嘎哆吃板面
2014-09-05
打赏
举报
回复
引用 1 楼 photo123 的回复:
是不同IP全部是一致的吗?
IP 不同, 比如:我想查询广东的搜索结果,模拟一个广东的Ip. 查询关键字在上海的排名,模拟一个上海的Ip. 我通过curl 模模拟IP 但是结果还是当前服务器的IP。
阿里嘎哆吃板面
2014-09-05
打赏
举报
回复
IP 不同, 比如:我想查询广东的搜索结果,模拟一个广东的Ip. 查询关键字在上海的排名,模拟一个上海的Ip. 我通过curl 模模拟IP 但是结果还是当前服务器的IP。
阿里嘎哆吃板面
2014-09-05
打赏
举报
回复
引用 4 楼 jianye112 的回复:
能模拟吗? 只能用代理ip吧
我用了 curl 做了IP 模拟,和来源地址模拟。 本地写了两个php 文件,测试是可以的,但是模拟IP 请求百度时候没有效果。
春哥视角
2014-09-04
打赏
举报
回复
是不同IP全部是一致的吗?
C# Modbus TCP/
IP
数据
采集
程序
C# Modbus TCP/
IP
数据
采集
程序
PHP
模拟
baidu蜘蛛
抓取
网站链接
PHP
模拟
baidu蜘蛛
抓取
网站链接,执行后自动创建一个TXT文本保存
抓取
的链接。
自建代理
IP
池管理系统
数据
时代,
数据
最贵,爬虫是最需要掌握的技术之一,代理
IP
则是爬虫最大的代价。自建代理
IP
池管理系统,自己来掌控代理
IP
,物尽其用,节约成本,还可以
抓取
公开、免费的代理
IP
放入系统中,供自己使用。
采集
百度
搜索
引擎的10个经典方法
百度
搜索
引擎提供全网
抓取
网页
数据
、全网
搜索
、图片
搜索
、学术
搜索
、文章
搜索
、知乎
搜索
、网页爬虫、
采集
网站
数据
、网页
数据
采集
软件、python爬虫、HTM网页提取、APP
数据
抓包、APP
数据
采集
、一站式网站
采集
技术、BI
数据
的
数据
分析、
数据
标注等成为大
数据
发展中的热门技术关键词。那么
搜索
采集
百度
搜索
引擎
数据
的方法有哪些呢?我给大家分享一下,我爬虫的个人经验,我们在
采集
类似
搜索
引擎网站
数据
的时候会遇到什么技术问题,然后再根据这些问题给大家分享
采集
方案. 一、写爬虫
采集
网站之前: 为什么经常听到有些网站的域名被
如何使用代理
IP
进行
数据
采集
,PHP爬虫
抓取
亚马逊商品
数据
本文关键词:代理
IP
,私密代理
IP
,私密代理
IP
数据
采集
什么是代理?什么情况下会用到代理
IP
?如何使用代理
IP
进行
数据
采集
代理服务器的功能就是代理用户去获取网络信息,之后再把相应的信息反馈给客户。用一个比较靠谱的比喻来说代理服务器相当于一个中介的环节。它是网络信息的中转站。通过代理
IP
访问目标网站,可以隐藏用户的真实
IP
地址 例如要想要
抓取
一个内容有100万条的网站,但是他们设...
PHP
20,359
社区成员
19,658
社区内容
发帖
与我相关
我的任务
PHP
“超文本预处理器”,是在服务器端执行的脚本语言,尤其适用于Web开发并可嵌入HTML中。PHP语法利用了C、Java和Perl,该语言的主要目标是允许web开发人员快速编写动态网页。
复制链接
扫一扫
分享
社区描述
“超文本预处理器”,是在服务器端执行的脚本语言,尤其适用于Web开发并可嵌入HTML中。PHP语法利用了C、Java和Perl,该语言的主要目标是允许web开发人员快速编写动态网页。
php
phpstorm
技术论坛(原bbs)
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章