社区
基础编程
帖子详情
怎么解决curl写的爬虫速度非常慢
qq_38873387
2020-03-26 07:39:40
我用curl写了一个爬搜狗收录的代码。这速度简直跟食了屎一样慢。求各路大神支招,怎么提升他的速度呢
...全文
329
3
打赏
收藏
怎么解决curl写的爬虫速度非常慢
我用curl写了一个爬搜狗收录的代码。这速度简直跟食了屎一样慢。求各路大神支招,怎么提升他的速度呢
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
浴火_凤凰
2020-07-01
打赏
举报
回复
打印几个log 看看是 响应慢 还是下载内容慢 然后才能有针对性的修改代码
廖展程
2020-03-28
打赏
举报
回复
响应慢是因为他的服务器太慢
caoyugui1993
2020-03-26
打赏
举报
回复
curl本来就比较慢,可以考虑用golang或者python互补,或者直接用c写成扩展
c#多线程抓取网页内容
在《
爬虫
/蜘蛛程序的制作(C#语言)》一文中,已经介绍了
爬虫
程序实现的基本方法,可以说,已经实现了
爬虫
的功能。只是它存在一个效率问题,下载
速度
可能很
慢
。这是两方面的原因造成的: 1. 分析和下载不能同步进行。在《
爬虫
/蜘蛛程序的制作(C#语言)》中已经介绍了
爬虫
程序的两个步骤:分析和下载。在单线程的程序中,两者是无法同时进行的。也就是说,分析时会造成网络空闲,分析的时间越长,下载的效率越低。反之也是一样,下载时无法同时进行分析,只有停下下载后才能进行下一步的分析。问题浮出水面,我想大家都会想到:把分析和下载用不同的线程进行,问题不就
解决
了吗? 2. 只是单线程下载。相信大家都有用过网际快车等下载资源的经历,它里面是可以设置线程数的(近年版本默认是10,曾经默认是5)。它会将文件分成与线程数相同的部分,然后每个线程下载自己的那一部分,这样下载效率就有可能提高。相信大家都有加多线程数,提升下载效率的经历。但细心的用户会发现,在带宽一定的情况下,并不是线程越多,
速度
越快,而是在某一点达到峰值。
爬虫
作为特殊的下载工具,不具备多线程的能力何以有效率可谈?
爬虫
在信息时代的目的,难道不是快速获取信息吗?所以,
爬虫
需要有多线程(可控数量)同时下载网页。 好了,认识、分析完问题,就是
解决
问题了: 多线程在C#中并不难实现。它有一个命名空间:System.Threading,提供了多线程的支持。 要开启一个新线程,需要以下的初始化: ThreadStart startDownload = new ThreadStart( DownLoad ); //线程起始设置:即每个线程都执行DownLoad(),注意:DownLoad()必须为不带有参数的方法 Thread downloadThread = new Thread( startDownload ); //实例化要开启的新类 downloadThread.Start();//开启线程 由于线程起始时启动的方法不能带有参数,这就为多线程共享资源添加了麻烦。不过我们可以用类级变量(当然也可以使用其它方法,笔者认为此方法最简单易用)来
解决
这个问题。知道开启多线程下载的方法后,大家可能会产生几个疑问: 1. 如何控制线程的数量? 2. 如何防止多线程下载同一网页? 3. 如何判断线程结束? 4. 如何控制线程结束? 下面就这几个问题提出
解决
方法: 1. 线程数量我们可以通过for循环来实现,就如同当年初学编程的打点程序一样。 比如已知用户指定了n(它是一个int型变量)个线程吧,可以用如下方法开启五个线程 Thread[] downloadThread;//声名下载线程,这是C#的优势,即数组初始化时,不需要指定其长度,可以在使用时才指定。这个声名应为类级,这样也就为其它方法控件它们提供了可能 ThreadStart startDownload = new ThreadStart( DownLoad );//线程起始设置:即每个线程都执行DownLoad() downloadThread = new Thread[ n ];//为线程申请资源,确定线程总数 for( int i = 0; i < n; i++ )//开启指定数量的线程数 { downloadThread[i] = new Thread( startDownload );//指定线程起始设置 downloadThread[i].Start();//逐个开启线程 } 好了,实现控制开启线程数是不是很简单啊? 2. 下面出现的一个问题:所有的线程都调用DonwLoad()方法,这样如何避免它们同时下载同一个网页呢? 这个问题也好
解决
,只要建立一下Url地址表,表中的每个地址只允许被一个线程申请即可。具体实现: 可以利用数据库,建立一个表,表中有四列,其中一列专门用于存储Url地址,另外两列分别存放地址对应的线程以及该地址被申请的次数,最后一列存放下载的内容。(当然,对应线程一列不是必要的)。当有线程申请后,将对应线程一列设定为当前线程编号,并将是否申请过一列设置为申请一次,这样,别的线程就无法申请该页。如果下载成功,则将内容存入内容列。如果不成功,内容列仍为空,作为是否再次下载的依据之一,如果反复不成功,则进程将于达到重试次数(对应该地址被申请的次数,用户可设)后,申请下一个Url地址。主要的代码如下(以VFP为例): CREATE TABLE (ctablename) (
curl
M , ctext M , ldowned I , threadNum I ) &&建立一个表ctablename.dbf,含有地址、文本内容、已经尝试下载次数、线程标志(初值为-1,线程标志是从0开始的整数)四个字段 cfullname = (ctablename) + '.dbf'&&为表添加扩展名 USE (cfullname) GO TOP LOCATE FOR (EMPTY( ALLTRIM( ctext ) ) AND ldowned < 2 AND ( threadNum = thisNum OR threadNum = - 1) ) &&查找尚未下载成功且应下载的属于本线程权限的Url地址,thisNum是当前线程的编号,可以通过参数传递得到 gotUrl =
curl
recNum = RECNO() IF recNum <= RECCOUNT() THEN &&如果在列表中找到这样的Url地址 UPDATE (cfullname) SET ldowned = ( ldowned + 1 ) , threadNum = thisNum WHERE RECNO() = recNum &&更新表,将此记录更新为已申请,即下载次数加1,线程标志列设为本线程的编号。 cfulltablename = (ctablename) + '.dbf' USE (cfulltablename) SET EXACT ON LOCATE FOR
curl
= (csiteurl) &&csiteurl是参数,为下载到的内容所对应的Url地址 recNumNow = RECNO()&&得到含有此地址的记录号 UPDATE (cfulltablename) SET ctext = (ccontent) WHERE RECNO() = recNumNow &&插入对应地址的对应内容 ctablename = (ctablename) + '.dbf' USE (ctablename) GO TOP SET EXACT ON LOCATE FOR
curl
= (cnewurl) &&查找有无此地址 IF RECNO() > RECCOUNT() THEN &&如果尚无此地址 SET CARRY OFF INSERT INTO (ctablename) (
curl
, ctext , ldowned , threadNum ) VALUES ( (cnewurl) , "" , 0 , -1 ) &&将主页地址添加到列表 好了,这样就
解决
了多线程中,线程冲突。当然,去重问题也可以在C#语言内
解决
,只根建立一个临时文件(文本就可以),保存所有的Url地址,差对它们设置相应的属性即可,但查找效率可能不及数据库快。 3. 线程结束是很难判断的,因为它总是在查找新的链接。用者认为可以假设:线程重复N次以后还是没有能申请到新的Url地址,那么可以认为它已经下载完了所有链接。主要代码如下: string url = ""; int times = 0; while ( url == "" )//如果没有找到符合条件的记录,则不断地寻找符合条件的记录 { url = getUrl.GetAUrl( …… );//调用GetAUrl方法,试图得到一个url值 if ( url == "" )//如果没有找到 { times ++;//尝试次数自增 continue; //进行下一次尝试 } if ( times > N ) //如果已经尝试够了次数,则退出进程 { downloadThread[i].Abort; //退出进程 } else//如果没有尝试够次数 { Times = 0; //尝试次数归零处理 } //进行下一步针对得到的Url的处理 } 4. 这个问题相对简单,因为在问题一中已经建议,将线程声名为类级数组,这样就很易于控制。只要用一个for循环即可结束。代码如下: for( int i = 0; i < n; i++ )//关闭指定数量n的线程数 { downloadThread[i].Abort();//逐个关闭线程 } 好了,一个蜘蛛程序就这样完成了,在C#面前,它的实现原来如此简单。 这里笔者还想提醒读者:笔者只是提供了一个思路及一个可以实现的
解决
方案,但它并不是最佳的,即使这个方案本身,也有好多可以改进的地方,留给读者思考。 最后说明一下我所使用的环境: winXP sp2 Pro VFP 9.0 Visual Studio 2003 .net中文企业版 本文来自CSDN博客,转载请标明出处:http://blog.csdn.net/peter1_jiang/archive/2007/10/23/1839137.aspx
curl
访问部署在境外服务器上的接口
速度
很
慢
怎么办?
前两天为客户交付了优订货裸钻订货系统后, 客户又增加了一个新需求:是为他对接一间来自新加坡的上游钻石供应商的接口, 以实现钻石数据自动同步的目的,这样就能免去每天上传钻石数据的麻烦,数据同步及时无偏差,而且能自动完成一些字段值的转换,例如自动将RD转为圆形,
解决
有些数据表述习惯不一致的问题。 本来这个需求挺简单的,但在一开始就遇到问题,就是在浏览器中访问上游供应商提供的接口时,
速度
很正常,但一旦在开发环境(用的腾讯云服务器)用
curl
访问,就会变得很卡顿,很
慢
,刚开始以为是接口提供方做了什么防
爬虫
的机制,后
cURL
实战教程
由King老师精心打造
cURL
实战课程,由浅入深的讲解了
cURL
中常见的API,及
cURL
在实际开发中的应用,实现了模拟登陆、文件上传下载、多线程
cURL
等。通过
cURL
可以操作各种网络资源! 山哥出品,必属精品!
php
curl
防止采集,php多线程采集网页的
解决
办法
curl
多线程采集
一直在使用thinkphp做项目,同样也经常进行采集!而对于物联卡来说,就更要大量的采集运营商提供的API信息,平时使用PHP单线程
curl
采集多个网页的时候
速度
特别
慢
,尤其是采集几十个接口的时候(电信不提供多个流量卡同时调用数据的接口,只能一个一个的查询);这个
速度
慢
的要死要死的!于是就想到
curl
多线程采集的问题,最终找到几个效果还是很不错的!
解决
了采集运营商接口的大难题!测试了一下,采集20...
【扯闲篇儿】关于PHP
写
爬虫
的一些吐槽
写
在正文前面: (1)发布过一次了这一篇,然后点编辑不小心点了删除,还确认了。。。手贱,剁手。。。 (2)csdn,有回收站,可视为啥木有恢复呢? 原文如下- - - -额,最近用PHP
写
了个
爬虫
,记记流水账,不谈细节,具体技术
解决
方案待以后有心情再整理。Start业务需求,抓取某竞品网站数据并导入自家数据库使用。
解决
方案:Part I 源网页抓取方案:
Curl
方法 防屏蔽:代理(透明代理
基础编程
21,886
社区成员
140,364
社区内容
发帖
与我相关
我的任务
基础编程
从PHP安装配置,PHP入门,PHP基础到PHP应用
复制链接
扫一扫
分享
社区描述
从PHP安装配置,PHP入门,PHP基础到PHP应用
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章