java 实现网络爬虫用哪个爬虫框架比较好?

jywai 2012-05-25 02:34:46
大家哈,我想用java 实现一个网络爬虫的程序,请问用什么爬虫框架比较好,比如说我要抓取一些游戏传媒信息。用什么技术框架好!??请大家帮忙支支招,谢谢!
...全文
30318 7 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
7 条回复
切换为时间正序
请发表友善的回复…
发表回复
小傅哥 2013-03-12
  • 打赏
  • 举报
回复
推荐一个Jsoup 看一下,感觉这个不错 http://tieba.baidu.com/p/2114471038
小伙 2013-03-12
  • 打赏
  • 举报
回复
httpclient不错
晴天_设计师 2013-03-11
  • 打赏
  • 举报
回复
共有31款Java 网络爬虫开源软件,网址:http://www.oschina.net/project/tag/64/spider?lang=19&os=0&sort=view&p=1,其中Nutch和Heritrix比较流行
gloomyfish 2012-12-28
  • 打赏
  • 举报
回复
如果你是做项目,建议你用框架 如果你是真的想提高自己能力,作为爱好研究一下,建议你研究框架源码,
muxiaoyu1 2012-12-27
  • 打赏
  • 举报
回复
自己写爬取程序吧 看你业务需求了 你针对的是什么了 最好说的详细点 一般来说 可以通过该网站的API搜索信息,这是最快最准的。如果不行就拼凑连接自己解析。最后还是不行就只有最笨最慢最不稳定的方法爬网页解析。N多方法最好使用API最不好就爬网页。
面包里的代码 2012-12-27
  • 打赏
  • 举报
回复
楼主,我也碰到你这样的问题,不知道你学的怎么样了?求指点
thisisnew 2012-05-29
  • 打赏
  • 举报
回复
爬虫有框架吗?好像只有一些开源的实现吧,Heritrix比较适合,而且用的比较多,可以自由定制,网上相关的中文资料也比较多

23,408

社区成员

发帖
与我相关
我的任务
社区描述
Java 非技术区
社区管理员
  • 非技术区社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧