为什么新浪微薄用的是Redis而不是MongoDB呢

yybjroam05 2013-10-08 10:12:31

我想请教一下，为什么新浪微薄用的是Redis而不是MongoDB呢？
各位说说自己的看法?

...全文

426 7 打赏收藏转发到动态举报

写回复

用AI写文章

7 条回复

切换为时间正序

请发表友善的回复…

发表回复

过天 2013-11-14

打赏
举报

Redis数据是在内存上 MongoDB数据是在磁盘上 2个不同的东西啊 Redis是做缓存服务器用的，数据在内存上，占内存 MongoDB是做海量数据查询用的，数据放到磁盘上的，当然也可以设置到内存，明显没得Redis那么专业撒

ybgba 2013-11-11

打赏
举报

关键在决策人。。。

xuyanlu 2013-10-09

打赏
举报

普通采用memcache+Mysql的解决方案，当调用id合法的情况下，可支撑较大的吞吐。但当调用id不可控，有较多垃圾用户调用时，由于memcache未有命中，会大量的穿透至Mysql服务器，瞬间造成连接数疯长，整体吞吐量降低，响应时间变慢。

QuickPai 2013-10-08

打赏
举报

无非就是以下几点：
1.Redis的优点正好符合新浪微薄的业务需求，缺点对新浪微薄影响不是很大；
2.一直沿用Redis，换用MongoDB需要做很大的改动，性价比低；
3.公司决策人偏爱Redis，而不是MongoDB。
4.。。。
5.。。。
。。。。

大家补充

黄瓜黄瓜 2013-10-08

打赏
举报

公司决策人偏爱Redis，而不是MongoDB

rucypli 2013-10-08

打赏
举报

肯定选定之前做过充足的测试权衡也许再过几年换别的nosql方案了

ACMAIN_CHM 2013-10-08

打赏
举报

公司决策人偏爱Redis，而不是MongoDB。

mongodb简介:开源、高性能和无模式,C++开发,key-value存储(nosql-->not only sql)。发展现状:新浪微博的Redis、Google的Bigtable和Amazon的SimpleDB都是Nosql型数据库。

中文说明| 微博蜘蛛持续维护的新浪微博爬虫 :rocket: :rocket: :rocket: 项目说明版本说明该项目分为2个分支，连续不同的需要分支特色抓取量单账号，单IP，单机器十万级账号池，IP池，Docker分布式数亿级（理论无上限）支持爬虫用户信息抓取用户微博抓取用户社交关系抓取（粉丝/关注）微博评论抓取基于关键字和时间段（粒度到小时）的微博抓取微博转发抓取初步说明项目基于weibo.cn站点抓取，抓取的分区非常丰富。具体请移步：如何使用拉取项目&&安装依赖本项目Python版本为Python3.6 git clone git@github.com:nghuyong/WeiboSpider.git --depth 1 --no-single-branch cd WeiboSpider pip install -r requirements.txt 除此之外，还需要安装mongodb。替换Cookie 访问登陆账号，打开浏览器的开发者模式，再次刷新复制weibo.cn这个数据包，network中的cookie值将wei

环境配置 Python3+Pip环境配置 MongoDB环境配置 Redis环境配置 MySQL的安装 Python多版本共存配置 Python爬虫常用库的安装基础篇爬虫基本原理讲解 Urllib库基本使用 Requests库基本使用正则表达式基础 BeautifulSoup库详解 PyQuery详解 Selenium详解实战篇 Requests+正则表达式爬取猫眼电影分析Ajax请求并抓取今日头条街拍美图使用Selenium模拟浏览器抓取淘宝商品美食信息使用Redis+Flask维护动态代理池使用代理处理反爬抓取微信文章使用Redis+Flask维护动态Cookies池框架篇 PySpider框架基本使用及抓取TripAdvisor实战 PySpider架构概述及用法详解 Scrapy框架安装 Scrapy框架基本使用 Scrapy命令行详解 Scrapy中选择器用法 Scrapy中Spiders用法 Scrapy中Item Pipeline的用法 Scrapy中Download Middleware的用法 Scrapy爬取知乎用户信息实战 Scrapy+Cookies池抓取新浪微博 Scrapy+Tushare爬取微博股票数据分布式篇 Scrapy分布式原理及Scrapy-Redis源码解析 Scrapy分布式架构搭建抓取知乎 Scrapy分布式的部署详解

使用python3.7+scrapy+mongodb框架爬取新浪微博的用户信息以及微博动态实现了高匿ip代理池、伪装请求User-Agent 教程贴请移步：https://blog.csdn.net/mengyanyuan8023/article/details/94017903

│ Python3爬虫课程资料代码 │ ├─章节1：环境配置 │ 课时01：Python3+Pip环境配置.mp4 │ 课时02：MongoDB环境配置.mp4 │ 课时03：Redis环境配置.mp4 │ 课时04：MySQL的安装.mp4 │ 课时05：Python多版本共存配置.mp4 │ 课时06：Python爬虫常用库的安装.mp4 │ ├─章节2：基础篇 │ 课时07：爬虫基本原理讲解.mp4 │ 课时08：Urllib库基本使用.mp4 │ 课时09：Requests库基本使用.mp4 │ 课时10：正则表达式基础.mp4 │ 课时11：BeautifulSoup库详解.mp4 │ 课时12：PyQuery详解.mp4 │ 课时13：Selenium详解.mp4 │ ├─章节3：实战篇 │ 课时14：Requests+正则表达式爬取猫眼电影.mp4 │ 课时15：分析Ajax请求并抓取今日头条街拍美图 .mp4 │ 课时16：使用Selenium模拟浏览器抓取淘宝商品美食信息.mp4 │ 课时17：使用Redis+Flask维护动态代理池.mp4 │ 课时18：使用代理处理反爬抓取微信文章.mp4 │ 课时19：使用Redis+Flask维护动态Cookies池.mp4 │ ├─章节4：框架篇 │ 课时20：PySpider框架基本使用及抓取TripAdvisor实战.mp4 │ 课时21：PySpider架构概述及用法详解.mp4 │ 课时22：Scrapy框架安装.mp4 │ 课时23：Scrapy框架基本使用.mp4 │ 课时24：Scrapy命令行详解.mp4 │ 课时25：Scrapy中选择器用法.mp4 │ 课时26：Scrapy中Spiders用法.mp4 │ 课时27：Scrapy中Item Pipeline的用法.mp4 │ 课时28：Scrapy中Download Middleware的用法.mp4 │ 课时29：Scrapy爬取知乎用户信息实战.mp4 │ 课时30：Scrapy+Cookies池抓取新浪微博.mp4 │ 课时31：Scrapy+Tushare爬取微博股票数据.mp4 │ └─章节5：分布式篇课时32：Scrapy分布式原理及Scrapy-Redis源码解析.mp4 课时33：Scrapy分布式架构搭建抓取知乎.mp4 课时34：Scrapy分布式的部署详解.mp4

MongoDB

1,747

社区成员

1,464

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章