[问题]如何像网络蜘蛛哪样爬取网页

[zhangzxpan]

楼主要找一些商品的所有评论进行分析，比如淘宝某款鞋子底下的所有评论，使用过---熊猫采集器、火车头、八爪鱼这些人家开发好的系统，但是有的用不了，有的不会用啊，太麻烦了。
以前在实验室听很多师兄说用过网络蜘蛛，不知道他们是使用软件，还是自己编程序。
其实自己编程提取评论也不难实现，但是用JAVA还是用Python，听说现在流行用Python写网络蜘蛛。编程也只能整对特定需求，以后要是再用还得再编。
那么问题来了，大家在实验室如果做文本分析或者数据挖掘，那些数据是用哪种方式来获取的，虚心求教各位？

[healer_kx]

use Python first please

[火星日立zy]

推荐Pyhon作为爬虫语言，它简单易学，实现同样的功能，Pyhton用的代码量比Java少的多。 例 ： import urllib2 response = urllib2.urlopen('http://www.baidu.com/') html = response.read() print html 就可以抓取一个百度的首页了，才4行代码

[zhangzxpan]

好的，谢谢啊

[S117]

看你擅长什么语言了，Java爬虫也很多