关于“豆瓣架构”材料中一点疑问，请高手解惑

fxlijun 2010-02-07 10:13:05

在这里提出每天有2M的动态请求时就出现了磁盘IO性能瓶颈和数据库性能瓶颈

诱惑：2M的动态请求在这里是个什么概念？（肯定不是js,xml,txt,paf,swf,db,image,html之类的文件，要不2M的量就太少了）

我的理解是：动态请求就是一些需要和数据库交互的访问请求，那么这里的2M数据是不是指交互数据的大小呢？
如果是这样话，2M的动态请求应该没多少请求啊，怎么会让静态文件服务器和数据库服务器同时发生瓶颈呢？

...全文

162 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

ShinNakoruru 2010-02-09

打赏
举报

回复

2M,指每天200万次，不是数据量大小

本文介绍了一位新手如何使用Python3.5和Windows 10进行网络爬虫实践，目标是爬取豆瓣读书Top250列表。通过分析网页结构，确定爬取内容包括书名、别名、信息、评分和人数。主要运用requests、lxml和BeautifulSoup库，最终将数据保存为xls文件，并提供了相关文档链接作为补充材料。

本文是“音乐豆瓣”平台开发的开题报告。介绍了研究背景、意义、目的和内容，包括构建用户体系、分类音乐、开发排行榜等。还给出了进度安排，明确了系统部署环境，涉及MySQL数据库、Eclipse等工具，以及前后端技术如Vue.js、Spring Boot等。

本文介绍了作者使用Python爬虫获取豆瓣Top250电影短评的实践过程，包括遇到的IP封锁问题和解决方法，以及数据库中表情编码问题的解决方案。通过改变UA避免频繁访问导致的IP封锁，并利用bid参数保持访问的稳定性。目前爬虫已成功抓取四万条记录。

本文通过FineBI工具，详细解析了如何利用豆瓣电影数据集进行可视化分析，包括评分分布、地区分析、导演作品评估等，揭示电影行业趋势和质量观察。

本文通过Python爬虫展示了如何抓取豆瓣编程类评分超过9.0的书籍，包括分析URL、HTML结构，使用requests、BeautifulSoup等库，以及数据排序和保存到CSV。文中还讨论了同步编码的效率问题，并引入多线程优化爬虫速度。

高性能WEB开发

25,980

社区成员

4,366

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章