6.7w+
社区成员
求网络爬虫例子！！！
各位大神，本人对网络爬虫一点都不懂，求一个列子，要这样的，比如是文章的话，要获取标题，内容，然后如果有超链接，继续往下爬，深度控制在两层，求大神给一个...
...全文
当前发帖距今超过3年，不再开放新的回复
发表回复
tianfang 2014-12-03
搜索 spider java
weinianjie1 2014-12-03
以前写的扫描域名的程序，思路差不多，你可以参考下，链接为源码
http://download.csdn.net/detail/weinianjie1/4972941
healer_kx 2014-12-03
一般用Python写爬虫。代码估计只要Java的1/5就够了。
LOVE-漂泊 2014-12-03
可以到网上搜，如果技术可以 可以自己写个
zy_think123 2014-12-03
简单的话，自己写一个就是了呗，你可以去看看jsoup
WinSpread 2014-12-03
慎用 被封ip就好玩了
兔子托尼啊 2014-12-03
蜘蛛 啊啊
异常异长 2014-12-03
Nutch ：一个开源Java 实现的搜索引擎
简单的Python网络爬虫例子 简单的爬虫使用urllib就好了，以一个小例子示范： 爬取一个网站的所有出版社的名字，并写入txt。 URL:https://read.douban.com/provider/all 首先，分析一下源码（打开网页按F12），找到源码的格式是这样的： ...
Python3网络爬虫快速入门实战解析 请在电脑的陪同下，阅读本文。本文以实战为主，阅读过程...本文的实战内容有：网络小说下载(静态网站)、优美壁纸下载(动态网站)、爱奇艺VIP视频下载 PS：本文为Gitchat线上分享文章，该文章发布时间为2017年09月19日。
爬虫需谨慎，你不知道的爬虫与反爬虫套路！ 爬虫与反爬虫，是一个很不阳光的行业。这里说的不阳光，有两个含义。 第一是，这个行业是隐藏在地下的，一般很少被曝光出来。很多公司对外都不会宣称自己有爬虫团队，甚至隐瞒自己有反爬虫团队的事实。这可能是出于...
手把手教你利用爬虫爬网页（Python代码） 本文主要分为两个部分：一部分是网络爬虫的概述，帮助大家详细了解网络爬虫；另一部分是HTTP请求的Python实现，帮助大家了解Python中实现HTTP请求的各种方式，以...
【收藏】一文读懂网络爬虫！ 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL...
使用scrapy实现爬网站例子和实现网络爬虫(蜘蛛)的步骤 复制代码 代码如下:#!/usr/bin/env python# -*- coding: utf-8 -*- from scrapy.contrib.spiders import CrawlSpider, Rulefrom scrapy.contrib.linkextractors.sgml import SgmlLinkExtractorfrom scrapy.selector ...
用C#做网络爬虫的步骤教学 如今代码圈很多做网络爬虫的例子，今天小编给大家分享的是如何用C#做网络爬虫。注意这次的分享只是分享思路，并不是一整个例子，因为如果要讲解一整个例子的话，牵扯的东西太多。 1、新建一个控制台程序，这个相信...
为什么要学网络爬虫？我来告诉你！ 在数据量爆发式增长的互联网时代，网站与用户的沟通本质上是数据的交换：搜索引擎从数据库中提取搜索结果，将其展现在用户面前；电商将产品的描述、价格展现在网站...而网络爬虫技术，则是大数据分析领域的第一个环...
