网络爬虫网页禁止

maoruiwen 2013-10-11 01:22:31

各位大侠：
我们老大让我写个爬虫弄一个网站的数据，但是我写好了，网站阻止爬虫，我该怎么解决。谢谢。跪求。

...全文

375 5 打赏收藏转发到动态举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

maoruiwen 2015-05-09

打赏
举报

回复

谢谢大家，最近一直忙。忘记csdn上面的帖子了。

maoruiwen 2013-10-11

打赏
举报

回复

应该怎么操作？

tony4geek 2013-10-11

打赏
举报

回复

这个估计很难了。。

maoruiwen 2013-10-11

打赏
举报

回复

urlconnection.addRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 8.0)"); 这样可以么？

身胖不怕影子歪 2013-10-11

打赏
举报

回复

可否让爬虫模拟浏览器来访问

破解爬虫网页禁止F12

前言因为网络爬虫可从服务器爬取各种内容，所以可能存在涉及个人隐私或商业机密的内容，给使用者和服务器管理者带来不必要的困扰与纠纷，所以需要robots协议来对其进行规范。正文有些企业的服务器设置有对特定爬虫的拦截功能，但并不是所有企业均有能力设置和管理对爬虫进行拦截的功能，所以robots协议便诞生了。此协议告知了爬虫爬取该网站时应遵循的准则，并详细说明了何种爬虫禁止爬取何种网页。我...

抓取网页报403错误，爬虫解决403禁止访问错误方法

爬虫学的好，监狱进的早。

Requests库 requests.request() requests.put() requests.get () requests.patch() requests.head() request.delete() requests.post() get和head需要掌握； try： r = requests .get (url，timeout =30) r....

62,621

社区成员

307,251

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章