7,776
社区成员
发帖
与我相关
我的任务
分享兄弟们，最近对大公司，比如百度，腾讯用什么数据库比较感兴趣？
难道真是自己写的数据管理系统？
像百度这样大的数据量，查询竟然这么块，感觉肯定不是sql之类的，因为我弄30多万的数据，查询感觉就很慢！
还有腾讯，10亿qq号，加上每天上千万的在线用户，聊天记录，而且运行的还这么稳定！
不过msn的数据量也不小吧，而msn是微软的，微软就做操作系统和数据库的。
想必用的应该是自己的吧。那么就说sql server 2008和windows server 2008有处理这么多数据的能力。
谁了解的更多，解释下！
像百度这样大的数据量，查询竟然这么块，感觉肯定不是sql之类的，因为我弄30多万的数据，查询感觉就很慢！
还有腾讯，10亿qq号，加上每天上千万的在线用户，聊天记录，而且运行的还这么稳定！
不过msn的数据量也不小吧，而msn是微软的，微软就做操作系统和数据库的。
想必用的应该是自己的吧。那么就说sql server 2008和windows server 2008有处理这么多数据的能力。
谁了解的更多，解释下！
...全文
请发表友善的回复…
发表回复
chunlongsad 2013-01-11
- 打赏
- 举报
估计楼主现在都升到3年级了，再过两三年就能看懂了。
海量数据采用比较多的是nosql,如:BigTable,Hbase
随机存会本身与数据大小没有多少关系，其实无论什么技术原理都很简单,只要讲得不"那么专业",别人都能听懂.
楼主本身求知的欲望没有问题,但是听不进别人讲,不相信别人是你进步的一个阴碍.估计这几年你也没有多大的进步
可以看看bigTable的论文，挺有帮助的。
yeaji 2012-09-11
- 打赏
- 举报
十年一烙
advancekong 2012-07-19
- 打赏
- 举报
很喜欢计算机这东西，但是大学里都荒废了，怎么补？
maobiwen 2012-05-27
- 打赏
- 举报
我是来打酱油的，看不懂各位大神在说什么，不过对于腾讯百度的服务器，数据库那些的很感兴趣，因为如果这些东西要是要我来做，比如搜索，要是让我来做，我做一个几个人用用的还行，要是访问量和百度一样的，我不知道他们电脑开起来搜索一下，要等多久以后才有结果。因为我只会把数据存进一个表，然后去查。。。。。。
顶多在这个表按照某些东西分为不同表，如果有必要再分为不同库
分完库了还是不行的话，那我把这些库分布到不同服务器去、、、、、、、、、、、、、、、
顶多在这个表按照某些东西分为不同表，如果有必要再分为不同库
分完库了还是不行的话，那我把这些库分布到不同服务器去、、、、、、、、、、、、、、、
mk301 2012-05-07
- 打赏
- 举报
NOSQL数据库吧
具体哪个俺就不知道了
具体哪个俺就不知道了
zijie405 2012-04-10
- 打赏
- 举报
其实百度的所有数据都存放在内存中， 是直接索引内存中的数据的。
当然分布式是少不了的
当然分布式是少不了的
NINGDONG8899 2012-03-20
- 打赏
- 举报
哎……
瀛寰之泪 2012-02-09
- 打赏
- 举报
[Quote=引用 166 楼 zznice 的回复:]
首先感谢楼主锲而不舍的追求真像的精神，
其次感谢各位大神的积极参与和精彩回复，
争吵是好事，可以是真像越来越接近，学习了
其实我一直也好想弄明白像GOOGLE、BAIDU这样的网站是通过什么方式存贮和使用数据，逐楼看完每一个贴子，感觉收获颇多，谢谢大家
最近一个小小建议，争论不是好事，但不要人身攻击
[/Quote]
我只是一个刚毕业的软件技术的毕业生，今天忽然也有了这么个疑问，于是查到了这里，是啊，深受震撼，不禁让我感叹人类之伟大，真的，但又想起来蜂巢，DNA……不仅对生命肃然起敬！！！
首先感谢楼主锲而不舍的追求真像的精神，
其次感谢各位大神的积极参与和精彩回复，
争吵是好事，可以是真像越来越接近，学习了
其实我一直也好想弄明白像GOOGLE、BAIDU这样的网站是通过什么方式存贮和使用数据，逐楼看完每一个贴子，感觉收获颇多，谢谢大家
最近一个小小建议，争论不是好事，但不要人身攻击
[/Quote]
我只是一个刚毕业的软件技术的毕业生，今天忽然也有了这么个疑问，于是查到了这里，是啊，深受震撼，不禁让我感叹人类之伟大，真的，但又想起来蜂巢，DNA……不仅对生命肃然起敬！！！
lingziang 2012-01-10
- 打赏
- 举报
[Quote=引用 61 楼 viena 的回复:]
//那么sql server 数据库为何不这样做呢？
怎么知道没这样做呢？
数据库的索引的原理大体与我说的这个是一样的
但是索引有两个问题
1 必须事先建好
2 占用空间比较大
[/Quote]
我这样说 你看我的理解对吗 百度索引就是类似查字典 我想知道l在哪里 我就在字段里面找l的英文 里面有li,lin,ling,等等 百度的索引就是在每个li,lin,ling 插个页码 假如我想知道 ling 的话我就在字典里面去找 ling 的页码，同理我们平常所查询出来的数据只是被百度分好页码的字典罢了，当我们查询的时候百度会根据我搜索的页码快速找到地址，有点像坐车 我要去北京，买好北京的票 做上列车 就可以去了！ 怎样我说的有错吗？
//那么sql server 数据库为何不这样做呢？
怎么知道没这样做呢？
数据库的索引的原理大体与我说的这个是一样的
但是索引有两个问题
1 必须事先建好
2 占用空间比较大
[/Quote]
我这样说 你看我的理解对吗 百度索引就是类似查字典 我想知道l在哪里 我就在字段里面找l的英文 里面有li,lin,ling,等等 百度的索引就是在每个li,lin,ling 插个页码 假如我想知道 ling 的话我就在字典里面去找 ling 的页码，同理我们平常所查询出来的数据只是被百度分好页码的字典罢了，当我们查询的时候百度会根据我搜索的页码快速找到地址，有点像坐车 我要去北京，买好北京的票 做上列车 就可以去了！ 怎样我说的有错吗？
金汐 2011-09-30
- 打赏
- 举报
[Quote=引用 152 楼 langdy 的回复:]
索引是经过排序的，索引的查找一般通过二分法，比如10亿的数字，我要找其中一个数字2，一次二分查找就消去5亿无用的数据，两次二分查找又消去2.5亿无用的数字，如此循环下去，对于现在的服务器，不到0.001s就找出来了。
[/Quote]
看来就是这个了,反正感觉有查找的方法. 这么多楼看下来真是要半天啊...
索引是经过排序的，索引的查找一般通过二分法，比如10亿的数字，我要找其中一个数字2，一次二分查找就消去5亿无用的数据，两次二分查找又消去2.5亿无用的数字，如此循环下去，对于现在的服务器，不到0.001s就找出来了。
[/Quote]
看来就是这个了,反正感觉有查找的方法. 这么多楼看下来真是要半天啊...
金汐 2011-09-30
- 打赏
- 举报
[Quote=引用 68 楼 jfy724 的回复:]
引用 65 楼 viena 的回复:
引用 64 楼 jfy724 的回复:
请您讲讲我执行了如下语句：按照你的理解是如何查询的?实际上数据库是怎么执行的?
SELECT user_name FROM userinfo WHERE userID > 5000 AND userID < 100000
为什么涉及到多表查询和子查询的时候，特别慢，数据量在100w以上时候？
数据量10……
[/Quote]
LZ我觉得你的意思是数据量很大的情况下,虽然是查询索引,但索引记录也很多.要找出匹配的也需要花很多时间是吧?
这个我个人觉得数据库应该有自己的匹配索引查找方法.哪怕索引再多,索引总是有个排序规则的,在索引建立和维护的时候,数据库引擎应该对该索引有一定的分析,知道索引中区段分配. 查找匹配索引时并不是一条条扫描,而是直接跳到某段,判断要找的是在该段的前面还是后面,然后再跳跃式的去找.那样再大的数据,也经不起打折几次啊.
好比说范围在1-1000亿之间的数字,而你要找1000000的时候,你大脑里对1-1000亿这个范围是有一定分析的,能估算1000000大概在哪个范围区间,我想找起来应该不困难.
以上是个人理解和比喻,如有不当,纯属xx哈
引用 65 楼 viena 的回复:
引用 64 楼 jfy724 的回复:
请您讲讲我执行了如下语句：按照你的理解是如何查询的?实际上数据库是怎么执行的?
SELECT user_name FROM userinfo WHERE userID > 5000 AND userID < 100000
为什么涉及到多表查询和子查询的时候，特别慢，数据量在100w以上时候？
数据量10……
[/Quote]
LZ我觉得你的意思是数据量很大的情况下,虽然是查询索引,但索引记录也很多.要找出匹配的也需要花很多时间是吧?
这个我个人觉得数据库应该有自己的匹配索引查找方法.哪怕索引再多,索引总是有个排序规则的,在索引建立和维护的时候,数据库引擎应该对该索引有一定的分析,知道索引中区段分配. 查找匹配索引时并不是一条条扫描,而是直接跳到某段,判断要找的是在该段的前面还是后面,然后再跳跃式的去找.那样再大的数据,也经不起打折几次啊.
好比说范围在1-1000亿之间的数字,而你要找1000000的时候,你大脑里对1-1000亿这个范围是有一定分析的,能估算1000000大概在哪个范围区间,我想找起来应该不困难.
以上是个人理解和比喻,如有不当,纯属xx哈
zhl71199713 2011-09-19
- 打赏
- 举报
1L 正解
索引+均衡负载
索引+均衡负载
暗淡亮点 2011-09-19
- 打赏
- 举报
我去，10年的烙铁了。
scsxd 2011-08-29
- 打赏
- 举报
激烈啊，好像没看出什么东东
zznice 2011-07-24
- 打赏
- 举报
首先感谢楼主锲而不舍的追求真像的精神，
其次感谢各位大神的积极参与和精彩回复，
争吵是好事，可以是真像越来越接近，学习了
其实我一直也好想弄明白像GOOGLE、BAIDU这样的网站是通过什么方式存贮和使用数据，逐楼看完每一个贴子，感觉收获颇多，谢谢大家
最近一个小小建议，争论不是好事，但不要人身攻击
其次感谢各位大神的积极参与和精彩回复，
争吵是好事，可以是真像越来越接近，学习了
其实我一直也好想弄明白像GOOGLE、BAIDU这样的网站是通过什么方式存贮和使用数据，逐楼看完每一个贴子，感觉收获颇多，谢谢大家
最近一个小小建议，争论不是好事，但不要人身攻击
zzzfjy520 2011-06-02
- 打赏
- 举报
楼层挺高的，1年纪的飘过，你们说的好多俺没看懂~~
wanglilin 2011-05-22
- 打赏
- 举报
看完了，路过~
denishuang 2011-05-04
- 打赏
- 举报
一年级的同学，爱钻研挺好的，不过还是想想怎么过二年级吧,跳级挺有难度的！
六年级的同学，不用升中考了？有空还请提点提点一下我这个五年级的吧，你们的一些话,俺还能听得懂！
六年级的同学，不用升中考了？有空还请提点提点一下我这个五年级的吧，你们的一些话,俺还能听得懂！
nana 2011-05-02
- 打赏
- 举报
[Quote=引用 159 楼 jfy724 的回复:]
好久没来这里，看到你给我回复，很高兴。说说我的新的理解：
第一：百度是用php开发的，想必肯定用mysql数据库，mysql数据库是大的网站首选数据库，包括qq，新浪，人人等。
第二：我专门安装了linux，mysql，php，测试了一下查询，没想到真的比windows下sqlserver快很多，测试了4k多万行数据，三个字段，用sql server查询，好像是10多分钟，而用mysql……
[/Quote]
百度只是展示层用的是PHP，而真正的后台则不是，如果你有兴趣，可以先去百度招聘里面看看，百度会欢迎你这种喜欢探究的朋友加入。
好久没来这里，看到你给我回复，很高兴。说说我的新的理解：
第一：百度是用php开发的，想必肯定用mysql数据库，mysql数据库是大的网站首选数据库，包括qq，新浪，人人等。
第二：我专门安装了linux，mysql，php，测试了一下查询，没想到真的比windows下sqlserver快很多，测试了4k多万行数据，三个字段，用sql server查询，好像是10多分钟，而用mysql……
[/Quote]
百度只是展示层用的是PHP，而真正的后台则不是，如果你有兴趣，可以先去百度招聘里面看看，百度会欢迎你这种喜欢探究的朋友加入。
fulianglove 2011-03-18
- 打赏
- 举报
2年没来了，无意中看到这个帖子，好高的楼！~~~~~冒个泡！
加载更多回复（156）
