关于URL类爬网页的疑问！

whereismymindM 2018-04-28 09:40:47

用url拷贝了一个网页，用文本打开看起来很完整，从<!DOCTYPE html。。。到html>结束，但是为什么用浏览器打不开，一片空白，拷贝百度首页倒是有显示一点点，是什么原因，小白不懂，求问！还有一个问题，如果浏览器发送请求，收到的响应有响应头，为什么url收到的只有响应文本？

...全文

743 2 打赏收藏转发到动态举报

写回复

用AI写文章

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

whereismymindM 2018-04-29

打赏
举报

引用 1 楼 qw0907 的回复:

你这不是爬网页吧？你只是另存了网页（把当前页面的一些信息下载了而已）。很明显造成这样的原因：有些js、图片、样式文件没有下载下来。有些网页代码做了控制的，就是防止有人把网页copy下来修改。

---------------------------------------------------------------------- 小白不懂，那如果对方不搞这些安全设置，URL是不是就把所有的都拷贝下来，包括你说的图片，jsp等等是不是？

快跑蜗牛哥 2018-04-28

打赏
举报

你这不是爬网页吧？你只是另存了网页（把当前页面的一些信息下载了而已）。很明显造成这样的原因：有些js、图片、样式文件没有下载下来。有些网页代码做了控制的，就是防止有人把网页copy下来修改。

在《爬虫/蜘蛛程序的制作（C#语言）》一文中，已经介绍了爬虫程序实现的基本方法，可以说，已经实现了爬虫的功能。只是它存在一个效率问题，下载速度可能很慢。这是两方面的原因造成的： 1. 分析和下载不能同步进行。在《爬虫/蜘蛛程序的制作（C#语言）》中已经介绍了爬虫程序的两个步骤：分析和下载。在单线程的程序中，两者是无法同时进行的。也就是说，分析时会造成网络空闲，分析的时间越长，下载的效率越低。反之也是一样，下载时无法同时进行分析，只有停下下载后才能进行下一步的分析。问题浮出水面，我想大家都会想到：把分析和下载用不同的线程进行，问题不就解决了吗？ 2. 只是单线程下载。相信大家都有用过网际快车等下载资源的经历，它里面是可以设置线程数的（近年版本默认是10，曾经默认是5）。它会将文件分成与线程数相同的部分，然后每个线程下载自己的那一部分，这样下载效率就有可能提高。相信大家都有加多线程数，提升下载效率的经历。但细心的用户会发现，在带宽一定的情况下，并不是线程越多，速度越快，而是在某一点达到峰值。爬虫作为特殊的下载工具，不具备多线程的能力何以有效率可谈？爬虫在信息时代的目的，难道不是快速获取信息吗？所以，爬虫需要有多线程（可控数量）同时下载网页。好了，认识、分析完问题，就是解决问题了：多线程在C#中并不难实现。它有一个命名空间：System.Threading，提供了多线程的支持。要开启一个新线程，需要以下的初始化： ThreadStart startDownload = new ThreadStart( DownLoad ); //线程起始设置：即每个线程都执行DownLoad()，注意：DownLoad()必须为不带有参数的方法 Thread downloadThread = new Thread( startDownload ); //实例化要开启的新类 downloadThread.Start();//开启线程由于线程起始时启动的方法不能带有参数，这就为多线程共享资源添加了麻烦。不过我们可以用类级变量（当然也可以使用其它方法，笔者认为此方法最简单易用）来解决这个问题。知道开启多线程下载的方法后，大家可能会产生几个疑问： 1. 如何控制线程的数量？ 2. 如何防止多线程下载同一网页？ 3. 如何判断线程结束？ 4. 如何控制线程结束？下面就这几个问题提出解决方法： 1. 线程数量我们可以通过for循环来实现，就如同当年初学编程的打点程序一样。比如已知用户指定了n（它是一个int型变量）个线程吧，可以用如下方法开启五个线程 Thread[] downloadThread;//声名下载线程，这是C#的优势，即数组初始化时，不需要指定其长度，可以在使用时才指定。这个声名应为类级，这样也就为其它方法控件它们提供了可能 ThreadStart startDownload = new ThreadStart( DownLoad );//线程起始设置：即每个线程都执行DownLoad() downloadThread = new Thread[ n ];//为线程申请资源，确定线程总数 for( int i = 0; i < n; i++ )//开启指定数量的线程数 { downloadThread[i] = new Thread( startDownload );//指定线程起始设置 downloadThread[i].Start();//逐个开启线程 } 好了，实现控制开启线程数是不是很简单啊？ 2. 下面出现的一个问题：所有的线程都调用DonwLoad()方法，这样如何避免它们同时下载同一个网页呢？这个问题也好解决，只要建立一下Url地址表，表中的每个地址只允许被一个线程申请即可。具体实现：可以利用数据库，建立一个表，表中有四列，其中一列专门用于存储Url地址，另外两列分别存放地址对应的线程以及该地址被申请的次数，最后一列存放下载的内容。（当然，对应线程一列不是必要的）。当有线程申请后，将对应线程一列设定为当前线程编号，并将是否申请过一列设置为申请一次，这样，别的线程就无法申请该页。如果下载成功，则将内容存入内容列。如果不成功，内容列仍为空，作为是否再次下载的依据之一，如果反复不成功，则进程将于达到重试次数（对应该地址被申请的次数，用户可设）后，申请下一个Url地址。主要的代码如下（以VFP为例）： CREATE TABLE (ctablename) ( curl M , ctext M , ldowned I , threadNum I ) &&建立一个表ctablename.dbf，含有地址、文本内容、已经尝试下载次数、线程标志（初值为-1，线程标志是从0开始的整数）四个字段 cfullname = (ctablename) + '.dbf'&&为表添加扩展名 USE (cfullname) GO TOP LOCATE FOR (EMPTY( ALLTRIM( ctext ) ) AND ldowned < 2 AND ( threadNum = thisNum OR threadNum = - 1) ) &&查找尚未下载成功且应下载的属于本线程权限的Url地址，thisNum是当前线程的编号，可以通过参数传递得到 gotUrl = curl recNum = RECNO() IF recNum <= RECCOUNT() THEN &&如果在列表中找到这样的Url地址 UPDATE (cfullname) SET ldowned = ( ldowned + 1 ) , threadNum = thisNum WHERE RECNO() = recNum &&更新表，将此记录更新为已申请，即下载次数加1，线程标志列设为本线程的编号。 cfulltablename = (ctablename) + '.dbf' USE (cfulltablename) SET EXACT ON LOCATE FOR curl = (csiteurl) &&csiteurl是参数，为下载到的内容所对应的Url地址 recNumNow = RECNO()&&得到含有此地址的记录号 UPDATE (cfulltablename) SET ctext = (ccontent) WHERE RECNO() = recNumNow &&插入对应地址的对应内容 ctablename = (ctablename) + '.dbf' USE (ctablename) GO TOP SET EXACT ON LOCATE FOR curl = (cnewurl) &&查找有无此地址 IF RECNO() > RECCOUNT() THEN &&如果尚无此地址 SET CARRY OFF INSERT INTO (ctablename) ( curl , ctext , ldowned , threadNum ) VALUES ( (cnewurl) , "" , 0 , -1 ) &&将主页地址添加到列表好了，这样就解决了多线程中，线程冲突。当然，去重问题也可以在C#语言内解决，只根建立一个临时文件（文本就可以），保存所有的Url地址，差对它们设置相应的属性即可，但查找效率可能不及数据库快。 3. 线程结束是很难判断的，因为它总是在查找新的链接。用者认为可以假设：线程重复N次以后还是没有能申请到新的Url地址，那么可以认为它已经下载完了所有链接。主要代码如下： string url = ""; int times = 0; while ( url == "" )//如果没有找到符合条件的记录，则不断地寻找符合条件的记录 { url = getUrl.GetAUrl( …… );//调用GetAUrl方法，试图得到一个url值 if ( url == "" )//如果没有找到 { times ++;//尝试次数自增 continue; //进行下一次尝试 } if ( times > N ) //如果已经尝试够了次数，则退出进程 { downloadThread[i].Abort; //退出进程 } else//如果没有尝试够次数 { Times = 0; //尝试次数归零处理 } //进行下一步针对得到的Url的处理 } 4. 这个问题相对简单，因为在问题一中已经建议，将线程声名为类级数组，这样就很易于控制。只要用一个for循环即可结束。代码如下： for( int i = 0; i < n; i++ )//关闭指定数量n的线程数 { downloadThread[i].Abort();//逐个关闭线程 } 好了，一个蜘蛛程序就这样完成了，在C#面前，它的实现原来如此简单。这里笔者还想提醒读者：笔者只是提供了一个思路及一个可以实现的解决方案，但它并不是最佳的，即使这个方案本身，也有好多可以改进的地方，留给读者思考。最后说明一下我所使用的环境： winXP sp2 Pro VFP 9.0 Visual Studio 2003 .net中文企业版本文来自CSDN博客，转载请标明出处：http://blog.csdn.net/peter1_jiang/archive/2007/10/23/1839137.aspx

**Java网络爬虫(蜘蛛)源码** **简介**：这是一个基于Java语言开发的网络爬虫程序，具备高效、稳定的抓取能力，适用于各种网页数据的采集与处理。采用多线程技术，支持分布式爬取，可轻松应对大规模数据采集需求。 **功能特点**： 1. **URL管理**：自动识别并管理待爬取的URL队列，确保爬虫不会重复访问同一页面。 2. **网页抓取**：通过HTTP/HTTPS协议获取网页源代码，支持自定义User-Agent、代理IP等设置。 3. **数据解析**：利用正则表达式或HTML解析库（如Jsoup）从网页中提取所需数据。 4. **存储处理**：支持将抓取到的数据存储到数据库、文件系统或第三方平台中。 5. **异常处理**：遇到异常情况时，能够自动重试或记录错误日志，确保爬虫的稳定运行。 6. **扩展性**：提供丰富的API接口和插件机制，方便开发者进行二次开发和定制。 **适用场景**： * 搜索引擎优化（SEO）：分析竞争对手网站结构、收录情况等。 * 数据挖掘与分析：从大量网页中提取有价值的数据进行分析。 * 舆情监测：实时抓取社交媒体、新闻等网站的动态信息。 * 网站内容更新：自动检测并下载网站更新的内容。 **注意事项**： * 请遵守目标网站的robots.txt协议，尊重网站版权和知识产权。 * 在使用过程中，如有任何疑问或需要技术支持，请联系作者。

一.网络爬虫概述网络爬虫可以按照指定的规则（网络爬虫的算法，编写的程序）自动抓取网络中的信息。大多主流语言都可以都可以进行网络爬虫，python相比较其他语言更加便捷、第三方库更加丰富。所以大多数爬虫任务都是用python完成的。二.网络爬虫的分类网络爬虫根据实现的技术和结构可以分为以下四类：通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫。 1.通用网络爬虫通用网络爬虫又叫全网爬虫，主要由URL集合、URL队列、页面爬行模块、页面分析模块、页面数据库、链接过滤模块等模块构成。主

通用的爬虫原理示意图：具体实现过程：1、开一个协程从待抓取url中获取url，进行网页获取，网页解析，然后入库；2、开另一个协程从已抓取url中获取url，进行获取其他url并且放入待抓取url队列中；网页解析在golang中，解析网页有几个比较好用的第三方库。比如：github.com/opesun/goquery,github.com/PuerkitoBio/goquery等等。github....

在开始之前，请确保你的电脑上已经安装好了BeautifulSoup库，可以通过在命令行中输入pip install beautifulsoup4来进行安装。一、数据解析在爬取之前，我们需要检测下响应状态码是否为200，如果请求失败，我们将爬取不到任何数据： import requests re = requests.get('https://book.douban.com/top250') if re.status_code == 200: print('请求成功!') else:

Java SE

62,615

社区成员

307,328

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章