8,028
社区成员
发帖
与我相关
我的任务
分享每天8000W的数据量，要做明细查询、统计分析，该如何实现？
没有分布式、没有大的存储设备、没有云，只是一个不怎么大的项目，两至三个程序员，该怎么做？领导不是技术出身，动不动就拿百度淘宝比，何况我们的数据特征是话单类的，有什么办法？求高人！
...全文
请发表友善的回复…
发表回复
pww71 2016-01-04
- 打赏
- 举报
你看看我的这篇文章 希望能对你有帮助
http://blog.csdn.net/pww71/article/details/25113303
诺维茨基 2015-04-30
- 打赏
- 举报
分区分表，索引优化，目前能想到的就是这些了，希望对楼主有帮助
庄鱼 2014-04-04
- 打赏
- 举报
如果是话单的话，不需要那么麻烦，你只需要建立带BLOB域的单一表就可以解决问题，不过对BLOB本身读写，你就的将其作为每一个单一表单处理，通话时长可以直接及时累加，你仅需要根据要保留的通话记录最长时限建立BLOB域与统计域的个数，超出时限的直接清空即可。不需要分区、分布式、hbase那么麻烦。
不过每秒1W的记录更新倒是比较麻烦，不知你手上是什么机型740吗？别告诉我是PCServer！
davidhxy1234 2014-03-30
- 打赏
- 举报
sphinx
jxd1001 2013-11-27
- 打赏
- 举报
还要做数据的统计分析，完了还要做详单查询，没有性能很好的机器，所以更别想用分布式了
xg_lion_l 2013-11-26
- 打赏
- 举报
10几台机器，支撑10亿每天的数据录入，并在凌晨详细运算出结果
xg_lion_l 2013-11-26
- 打赏
- 举报
每天8000万的数据啊，偶们用hbase+hive+hadoop
whb147 2013-11-22
- 打赏
- 举报
这种就是分区表，索引了
一种是按时间分区
一种是按手机的区域分区
还有一个就是按手机分表，哈哈哈
当然不是按手机号分表，你可以给手机号取模分成多少个表
然后表里再按日期分区
哈哈哈
天善智能 2013-11-18
- 打赏
- 举报
这种 一般都是表分区，索引，读写分离。
大话EPM 2013-11-13
- 打赏
- 举报
表分区。。。
litiebiao2012 2013-11-08
- 打赏
- 举报
这个最好找个dba帮忙优化吧，要么就用大数据处理框架吧！
