67,518
社区成员
发帖
与我相关
我的任务
分享Java网络爬虫技术
公司突然要我去研究网络爬虫技术，之前没接触过，在网上大概了解了下，觉得这方面资料好像比较少，麻烦有经验的同行给点实际性的建议和指导，最好有一个源码看看，如何去网上抓取别人网页中我需要的URL，整个具体流程是怎样的？想直接看源码，首先是爬虫如何实现，其次是如何通过爬虫程序去遍历意向网页，然后遍历网页的同时如何读取想要的东西？给个小例子就行，不胜感激。
...全文
请发表友善的回复…
发表回复
gongpan10 2014-06-10
- 打赏
- 举报
我也想要代码？
zhjdg 2014-05-24
- 打赏
- 举报
有空看看
卡卡罗特ING 2014-05-24
- 打赏
- 举报
新人看看
etracer 2014-05-23
- 打赏
- 举报
記録一下、感謝
在外的少年 2014-05-23
- 打赏
- 举报
爬虫 从来没有接触过 不过看到楼上的解答 好像知道了一点点
懒人的懒 2014-05-10
- 打赏
- 举报
同在研究，大神的书真是雪中送炭啊
haorengoodman 2014-05-10
- 打赏
- 举报
一直想接触一下，这回借楼主的东风仔细研究一下
leokelly001 2014-05-09
- 打赏
- 举报
顶楼主呢。同求代码
代码间的舞者 2014-04-13
- 打赏
- 举报
挖坟贴...
dokia123 2014-04-13
- 打赏
- 举报
http://java-source.net/open-source/crawlers
这个是专门针对java的爬虫技术，是开源的，楼主可以去看看。
c0py_ninj4 2014-04-13
- 打赏
- 举报
网络爬虫是什么东东，
sxyjjj 2014-04-12
- 打赏
- 举报
Alanzhou007 2012-12-03
- 打赏
- 举报
huangleijay 2012-12-02
- 打赏
- 举报
java基础知识而已，用正则咯
Jason901023 2012-12-02
- 打赏
- 举报
我做过网络爬虫，用的是HttpParser和HttpComponent（原名HttpClient），你研究一下这两个就ok了，至于算法方面就按照图的遍历来做了，DFS或者BFS看你的需求了。
yjflinchong 2012-11-30
- 打赏
- 举报
yjflinchong 2012-11-30
- 打赏
- 举报
学爬虫？
http://yijianfengvip.blog.163.com/blog/static/17527343220121027113418509/
我的爬虫系列专题
Sky牟天 2012-11-29
- 打赏
- 举报
恰好我之前有研究过，这里是一个非常好的例子：
使用 HttpClient 和 HtmlParser 实现简易爬虫
HttpClient和HtmlParser来自第三类库（文章中会介绍），模拟的一个Http客户端，可以程序化发起浏览页面的请求，然后用HtmlParser来不断抽取需要的网址，然后发起新的访问，由此循环下去，直到“爬”完所有网页。
乌咔咔酥 2012-11-29
- 打赏
- 举报
网络机器人Java编程指南源代码可以上作者的网页下载
http://www.jeffheaton.com/java/bot/updates.shtml
乌咔咔酥 2012-11-29
- 打赏
- 举报
这位兄弟推荐的书很靠谱~
加载更多回复（11）
