多线程爬虫 CPU 占用 100%的问题

panni15 2016-03-21 04:09:04

之前的解析用的是正则表达式，没什么问题，三十个线程稳稳的，后来改成了XPath 的方式取页面内容，CPU 没一会就占用到了百分之百

...全文

450 5 打赏收藏转发到动态举报

写回复

用AI写文章

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

panni15 2016-03-22

打赏
举报

引用 3 楼 zhangCbrother 的回复:

是查下你是设置了几个线程同时运行的？

之前用正则的时候，我是三十个线程，因为是递归所以不敢开太多，现在开十个，CPU 波动还是特别厉害

panni15 2016-03-22

打赏
举报

引用 2 楼 dongxinxi 的回复:

线程状态是等待的，应该不是这个线程的问题是不是有些线程中出异常了，如果对方的网页html并没遵循xml规范（标记或者<>不完整)，有试过没

这样的我都是直接给抛掉的 return了的

zhangCbrother 2016-03-21

打赏
举报

是查下你是设置了几个线程同时运行的？

IE11下面经常卡到爆 2016-03-21

打赏
举报

线程状态是等待的，应该不是这个线程的问题是不是有些线程中出异常了，如果对方的网页html并没遵循xml规范（标记或者<>不完整)，有试过没

panni15 2016-03-21

打赏
举报

这是线程监控

一直想写个爬虫，于是就用PHP写了一个，众所周知PHP并不支持多线程，所以爬行效率很低，同时运行10个进程，内存和CPU占用率很高，开大概10个进程爬行，对爬行时间还进行优化，但我的mac pro还是差不多就down掉了。于是开始采用PHP7结合pthreads多线程工具，经测试，稳定性、效率、内存和cpu的占用各方面都很满意。下边就介绍PHP7的多线程环境搭建。安装PHP7 以下所有命令在root用户下执行下载PHP7，目前最新版本是7.0.3，根据情况自行选择版本，PHP5.4以后的各版本也是支持的。 wget http://ar2.php.net/get/php-7.0.3.t

我们打开程序后，会发现电脑的内存和cpu发生了变化。在对于前者上面，自然是希望内容占用小，cpu的利用越高越好。那有没有什么方法可以让我们的cpu达到满状态的运行效果呢？这就得用到我们所学的多线程中的知识了，再正式开始讲解之前，我们先来说说操作的思路吧，然后进行代码对比。我们都知道，比方我有一个4核的CPU，那么这样一来，在单位时间内每个核只能跑一个线程，然后时间片轮转切换。但是Python不一样，它不管你有几个核，单位时间多个核只能跑一个线程，然后时间片轮转。看起来很不可思议？但是这就是GIL搞的鬼。任何Python线程执行前，必须先获得GIL锁，然后，每执行100条字节码，解释器就自动释

现在需要启动一个selenium的爬虫，使用火狐驱动+多线程，大家都明白的，现在电脑管家显示CPU占用率20%，启动selenium后不停的开启浏览器+多线程，好，没过5分钟，CPU占用率直接拉到90%+，电脑卡到飞起，定时程序虽然还在运行，但是已经类似于待机状态，是不是突然感觉到面对电脑卡死，第一反应：卧槽，这个lj电脑，这么程序都跑不起来，我还写这么多代码，*****！！是吧，接下来上代码，具体功能，请自信查阅相关资料深造： from datetime import datetime from threading import Timer import time # 定时任务 de

（一）程序、进程和线程。程序：就相当于一个应用。进程：程序运行资源（内存资源）分配的最小单位，一个程序可以有多个进程。线程：cpu最小的调度单位，必须依赖进程而存在。线程没有独立资源，所有线程共享该进程的全部资源。线程的划分尺度比进程更小。（二）为什么多进程和多线程可以提高程序的运行速度？ 1、提高程序的运行速度的第一种方法：提高cpu的利用率。解决的方式：cpu不用休息就可以做到。 ...

多线程爬虫与单线程爬虫的效率对比 1.什么是进程？当一个程序正在运行时，它就是一个进程，进程包括运行中的程序和程序所使用到的内存和系统资源，而一个进程又包含多个线程。 2.线程是什么？线程是程序中的一个执行流，每个线程都有自己专有的寄存器（栈指针、程序计数器等），但一个进程内的多个线程是共享代码区的，也就是同一个函数可以被多个线程所执行。 3.多线程是什么? 多线程一般指的是同一个程序的多个执...

110,556

社区成员

642,563

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧

+ 用AI写文章