高分求网络爬虫程序（多线程）

xueyanchao 2003-12-15 05:51:34

高分求网络爬虫程序（多线程），提供原代码者给500分。

...全文

56 5 打赏收藏转发到动态举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

sot 2003-12-16

打赏
举报

回复

网虫？？
我就是
^-^

lcs1980 2003-12-16

打赏
举报

回复

能把问题说详细一点吗

xueyanchao 2003-12-16

打赏
举报

回复

另开帖子给分。

xkak2 2003-12-15

打赏
举报

回复

你的分呢？

icedust 2003-12-15

打赏
举报

回复

?

上一次的抓取豆瓣高分计算机书籍的案例，采用的是完全同步的方式。即单个线程依次执行完所有的逻辑，这样存在的问题就是我们的爬虫程序会非常的慢。所以本文作为上一次案例的升级版本，通过循序渐进、动手实践的方式来达到更好的学习效果。相对于上次的案例，本次主要采用多线程+队列的方式来实现。用到的包： import requests from bs4 import BeautifulSoup import...

WechatSogou [1]- 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。 DouBanSpider [2]- 豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到Excel中，可方便大家筛选搜罗，比如筛选评价人数>1000的高分书籍；可依据不同的主题存储到Excel不同的Shee...

实现时使用图形界面、多线程、文件操作、数据库编程、网络编程、统计绘图六项技术。 1. 数据采集（1）用wxPython实现GUI界面，包括登录界面、爬虫界面。爬虫界面上包含： 1）复选框：选择网站页面上要爬取的元素,包括电影名、评论、导演、主演、论坛讨论、电影别名； 2）下拉列表：选择开启几个多线程进行爬虫，选择爬取电影类型，排序方式 3）scrolledtext：爬虫结果汇总，包括运行时间，爬...

Python网络爬虫实战项目代码大全（长期更新，欢迎补充）阿橙 · 1 个月内 WechatSogou [1]- 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。 DouBanSpider [2]- 豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到Excel中，可方便

WechatSogou [1]- 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。DouBanSpider [2]- 豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到Excel中，可方便大家筛选搜罗，比如筛选评价人数>1000的高分书籍；可依据不同的主题存储到Excel不同的Sheet ，采...

18,356

社区成员

64,214

社区内容

发帖

与我相关

我的任务

c++c语言开发语言技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章