社区
应用实例
帖子详情
现有一个业务系统有4万用户,所有用户每天产生6千万数据,系统要求快速查询60天数据,请给出你的实现方案
dongfight
2018-05-19 03:11:12
现有一个业务系统有4万用户,所有用户每天产生6千万数据,系统要求快速查询60天数据,请给出你的实现方案
...全文
1327
6
打赏
收藏
现有一个业务系统有4万用户,所有用户每天产生6千万数据,系统要求快速查询60天数据,请给出你的实现方案
现有一个业务系统有4万用户,所有用户每天产生6千万数据,系统要求快速查询60天数据,请给出你的实现方案
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
删库到跑路
2018-06-08
打赏
举报
回复
绝对要分区
薛定谔的DBA
2018-06-08
打赏
举报
回复
业务是什么?是业务数据还是日志数据?数据保留多久?是一张表还是所有业务表增长都差不多? DB系统是sql server ? 分库分表是必须的。按业务或是用户进行分表,直连所在数据库表; 另一种自作路由表,先查路由表再查询指定对应的表; 对于数据统计,可以每天、每周、每月进行一次统计,将结果保持下来。查询60天的数据则从这些结果中查询。
hgwyl
2018-06-07
打赏
举报
回复
可以的话,各个查询块,单独物理出来吧。
砸死牛顿的苹果
2018-05-21
打赏
举报
回复
60天的汇总结果,可以每天做好日汇总表 60天后 直接使用日汇总表 进行进一步汇总
吉普赛的歌
2018-05-19
打赏
举报
回复
用 Hbase 之类易于扩展的方案, 单数据库服务器已经没办法招架。分区也不顶事, 这么大数据量撑不住。 或者, 用多服务器,比如10个服务器,每个服务器分别查询 6 天的内容, 综合后反馈。 但最好的办法, 还是从业务上来解决。 4万用户, 平均每人每天要产生 1500 条数据,60天就 36亿,这个量不小了, 数据量过大的, 一般谈不上太重要, 最好能根据需要, 每天凌晨分析、筛选出结果表。 结果表就不会有太大了, 最终用户查的时候, 数据库压力也没那么大。 不需要老是想数据库的问题, 数据量大到一定程度可优化的可能性就大大降低, 尽量化繁为简。
卖水果的net
2018-05-19
打赏
举报
回复
第一反应,就是分区。
大
数据
企业级项目实战--Titan大型
数据
运营
系统
项目课程
本课程项目涵盖
数据
采集与预处理、
数据
仓库体系建设、
用户
画像
系统
建设、
数据
治理(元
数据
管理、
数据
质量管理)、任务调度
系统
、
数据
服务层建设、OLAP即席分析
系统
建设等大量模块,力求原汁原味重现
一个
完备的企业...
业务
系统
如何评估服务器,
系统
容量预估
服务器容量容量设计需要考虑的维度:
业务
规划 + 架构复杂度 + 组件模块 + 高可用 + 安全 + 存储复杂度容量指标:单机QPS,峰值,平均值,
用户
数、并发、稳定性有多少
数据
量,
数据
维度有哪些,服务
业务
有哪些,
数据
...
数据
仓库理论知识
通常
数据
仓库的
数据
来自各个
业务
应用
系统
。...
数据
仓库里的
数据
作为分析用的
数据
源,提供给后面的即席
查询
、 分析
系统
、
数据
集市、报表
系统
、
数据
挖掘
系统
等。这时我们就想了,为什么不能把
业务
系统
的
数据
直接
基于Spark的
用户
行为分析
系统
用统计分析出来的
数据
辅助公司中的PM(产品经理)、
数据
分析师以及管理人员分析
现有
产品的情况,并根据
用户
行为分析结果持续改进产品的设计,以及调整公司的战略和
业务
。最终达到用大
数据
技术来帮助提升公司的业绩、...
业务
常见面试题 (
数据
分析)
数据
分析面
业务
面试题小结
应用实例
27,579
社区成员
68,558
社区内容
发帖
与我相关
我的任务
应用实例
MS-SQL Server 应用实例
复制链接
扫一扫
分享
社区描述
MS-SQL Server 应用实例
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章