求高手一个问题，谁有爬虫源码

jssoft001 2012-05-09 10:59:37

最近项目需要，需要一个网络爬虫源码，要求爬虫关于招聘网的，详细要求可以联系QQ： 304047801

...全文

61 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

龙卷身 2012-05-09

打赏
举报

回复

有本书，自己动手写网络爬虫，书里似乎有源码

yjflinchong 2012-05-09

打赏
举报

回复

我在以前公司负责制作各种多线程爬虫推送等java软件。。源码可贵呢。

网络爬虫是自动化获取网页信息的工具，Python因其简单易学的特点常用于爬虫开发。合法使用爬虫需遵守Robots协议，避免对服务器造成压力和非法获利。HTTP协议是网络通信的基础，涉及请求和响应模型。了解这些基础知识对于构建和理解网络爬虫至关重要。

本文介绍了网络爬虫，它是按规则自动抓取互联网信息的程序。网络爬虫分通用和定向两类，常见搜索策略有深度优先、广度优先和最佳优先。还介绍了开发者工具中Elements和Network标签的使用，以及Headers标签作用，并给出网站分析步骤。

本文探讨了网络爬虫的基础概念、应用场景及技术难点，包括搜索引擎、自动化软件、数据挖掘等，同时介绍了爬虫与反爬虫之间的博弈，以及如何构建高效、安全的爬虫系统。

本文介绍了网络爬虫，它可自动采集与整理互联网数据。网络爬虫分为通用、聚焦、增量式、深层网络爬虫等类型。学习爬虫能订制搜索引擎、获取数据源、助力SEO和就业。它还可用于搜索引擎、金融投资等领域，能过滤广告、采集目标客户信息等。

本文介绍了网络爬虫的基本概念和常见问题，重点讲解了Java中Apache Nutch、WebCollector、WebMagic和Crawler4j四个爬虫框架的特点、适用性和上手难度。特别是WebCollector，对比了其与传统爬虫、HttpClient和Jsoup的区别，并展示了在实际项目中的应用。此外，还提供了项目源码下载和相关参考文章。

23,404

社区成员

70,513

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章