网络爬虫网页禁止

[maoruiwen]

各位大侠：
我们老大让我写个爬虫弄一个网站的数据，但是我写好了，网站阻止爬虫，我该怎么解决。谢谢。跪求。

[身胖不怕影子歪]

可否让爬虫模拟 浏览器来访问

[maoruiwen]

urlconnection.addRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 8.0)"); 这样可以么？

[tony4geek]

这个估计很难了。。

[maoruiwen]

应该怎么操作？

[maoruiwen]

谢谢大家，最近一直忙。忘记csdn上面的帖子了。