[问题]如何像网络蜘蛛哪样爬取网页
楼主要找一些商品的所有评论进行分析,比如淘宝某款鞋子底下的所有评论,使用过---熊猫采集器、火车头、八爪鱼这些人家开发好的系统,但是有的用不了,有的不会用啊,太麻烦了。
以前在实验室听很多师兄说用过网络蜘蛛,不知道他们是使用软件,还是自己编程序。
其实自己编程提取评论也不难实现,但是用JAVA还是用Python,听说现在流行用Python写网络蜘蛛。编程也只能整对特定需求,以后要是再用还得再编。
那么问题来了,大家在实验室如果做文本分析或者数据挖掘,那些数据是用哪种方式来获取的,虚心求教各位?