JAVA的网络爬虫

anlovejing 2011-01-11 06:39:42

大家有没有对网络爬虫熟悉的，能给介绍看什么书学习一下吗？

...全文

154 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

anlovejing 2013-03-06

打赏
举报

回复

自己动手写爬虫！

=PNZ=BeijingL 2011-01-11

打赏
举报

回复

看着个
http://subject.csdn.net/spider.htm

本文介绍Java网络爬虫的基础知识，通过Jsoup和httpclient+正则表达式两种方式，详细解析虎扑新闻列表页的新闻标题和详情页链接的抓取过程。

本文围绕Java网络爬虫展开，介绍了网络爬虫是按规则自动抓取万维网信息的程序。阐述了环境准备，如创建Maven工程并添加依赖。重点讲解了使用Java的HttpClient技术实现爬虫，包括爬取百度、京东等网页，介绍了GET、POST请求，还提及连接池解决频繁创建销毁问题及请求信息配置。

本文介绍了网络爬虫的基本概念、工作流程和分类，并以Java为基础，讲解了如何实现一个简单的网络爬虫。重点探讨了webmagic框架的使用，包括jar包下载、页面数据抽取和实体类注解等，还提到了Jsoup库在HTML解析中的作用。通过实例展示了XPath的语法应用，帮助读者理解网络爬虫的实现细节。

本文详细介绍如何使用Java进行网络爬虫开发，包括使用HttpClient发送GET和POST请求的方法，以及利用Jsoup解析HTML页面的技术要点。

本文介绍了网络爬虫的基本概念和常见问题，重点讲解了Java中Apache Nutch、WebCollector、WebMagic和Crawler4j四个爬虫框架的特点、适用性和上手难度。特别是WebCollector，对比了其与传统爬虫、HttpClient和Jsoup的区别，并展示了在实际项目中的应用。此外，还提供了项目源码下载和相关参考文章。

23,404

社区成员

70,512

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章