社区
Delphi
帖子详情
模拟浏览器
wz2000
2000-08-24 01:17:00
我开发了一个网上机器人自动搜索指定网站的文件。对绝大多数网站都行之有效。但在测试中发现有些网站有抗的功能。现象有2:
1。一旦不使用浏览器直接访问某些文件返回ERROR
2。有的即便使用浏览器,由于不是从SERVER端发出文件请求,所以也返回ERROR
问如何模拟浏览器,让SERVER端不能判断是ROBOT在访问
...全文
169
4
打赏
收藏
模拟浏览器
我开发了一个网上机器人自动搜索指定网站的文件。对绝大多数网站都行之有效。但在测试中发现有些网站有抗的功能。现象有2: 1。一旦不使用浏览器直接访问某些文件返回ERROR 2。有的即便使用浏览器,由于不是从SERVER端发出文件请求,所以也返回ERROR 问如何模拟浏览器,让SERVER端不能判断是ROBOT在访问
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
skt642
2001-05-31
打赏
举报
回复
37772关注!
Sayhigh
2000-08-25
打赏
举报
回复
模拟Brower的报头足以骗过网站,报头有很多资料介绍,
gey
2000-08-25
打赏
举报
回复
注
JGTM2000
2000-08-24
打赏
举报
回复
服务器只懂得HTTP协议,你要搞明白浏览器发出的HTTP请求和你自己模拟发出的有什么不一样。简单的方法,2分钟编一个socket server然后用她来察看浏览器实际发出的请求,找出差异。
selenium及依赖jar包(java)
selenium及所有依赖jar包(java),selenium,java,
模拟
浏览器
,
模拟
登录
google
浏览器
插件 postman的使用
google
浏览器
插件 postman的使用,可以
模拟
get post提交,很好的调试工具。
python爬虫之selenium
模拟
浏览器
之前在异步加载(AJAX)网页爬虫的时候提到过,爬取这种ajax技术的网页有两种办法:一种就是通过
浏览器
审查元素找到包含所需信息网页的真实地址,另一种就是通过selenium
模拟
浏览器
的方法[1]。当时爬的是豆瓣,比较容易分析出所需信息的真实地址,不过一般大点的网站像淘宝这种是不好分析的,所以利用selenium
模拟
浏览器
的行为来爬取数据是一个比较可行的办法。
使用Python
模拟
浏览器
访问网页的实现
在上述代码中,我们首先需要设置需要访问的网页 URL,并构造一个请求头 headers,以
模拟
浏览器
的访问行为。然后,我们可以通过 urllib.request 模块的 Request 方法创建一个请求对象 req,将设置好的 URL 和请求头信息传入。总体来说,使用 urllib.request 模块
模拟
浏览器
访问网页非常简单,只需要构造好请求头信息,然后通过 urllib.request.urlopen 函数向服务器发送请求即可。这样可以有效地规避一些反爬虫机制,同时也方便我们获取需要的网页数据。
curl
模拟
浏览器
请求
自行封装一个curl
模拟
浏览器
请求的函数,如下: /** * curl
模拟
浏览器
请求 * @param unknown $url 请求的地址 * @param array $params 请求地址所需要的参数 * @param string $method 请求的类型 * @param array $headers http请求头
Delphi
5,379
社区成员
262,722
社区内容
发帖
与我相关
我的任务
Delphi
Delphi 开发及应用
复制链接
扫一扫
分享
社区描述
Delphi 开发及应用
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章