历史数据10亿,每天30万左右的新数据,数据库该怎么搭建。

chchchchchchch 2017-12-28 10:36:56
新手求大神解答,每天30万左右的新数据每天固定时间批量插入,历史数据也只有管理员能查,该怎么弄这个数据库。
在网上看了些资料,分表、读写分离、使用引擎。不过网上的例子都和我不一样,我具体需要看那些资料?
...全文
1587 6 打赏 收藏 转发到动态 举报
写回复
用AI写文章
6 条回复
切换为时间正序
请发表友善的回复…
发表回复
發糞塗牆 2018-03-08
  • 打赏
  • 举报
回复
找一下关于数据仓库或者叫ODS的概念,不应该对生产库持有过多非活动数据。但是一切根据现状和企业能力而定。http://blog.csdn.net/dba_huangzj/article/details/11143305
  • 打赏
  • 举报
回复
1.分表:实时表,历史表 2.按时间做分区表,定时归档历史分区表 3.查询可以通过视图:实时+历史
langxin312 2018-03-06
  • 打赏
  • 举报
回复
分表 tableA:只保留最近X天需要的数据,根据实际业务设置时间 tableB:保留45天左右的数据,便于做月报 tableC:超过45天以上的数据 每天凌晨将超过X天的数据从A转到B ,将超过45天的数据从B转到C 同时,在B表中汇总数据插入新表,便于年度统计 当然还可以根据业务分更细,A,B,C,D或者更多的表,但相应的视图,存储过程会增加,应用的难度也会增加
删库到跑路 2017-12-28
  • 打赏
  • 举报
回复
就以时间为条件做表分区
OwenZeng_DBA 2017-12-28
  • 打赏
  • 举报
回复
引用 楼主 chchchchchchch 的回复:
新手求大神解答,每天30万左右的新数据每天固定时间批量插入,历史数据也只有管理员能查,该怎么弄这个数据库。 在网上看了些资料,分表、读写分离、使用引擎。不过网上的例子都和我不一样,我具体需要看那些资料?
定期做历史数据分离就可以。可以用分区表,也可以通过定时任务定期做分离
吉普赛的歌 2017-12-28
  • 打赏
  • 举报
回复
day_table 今天数据 month_table 一个月内数据 history_table 历史数据, 按日期做成分区表

22,209

社区成员

发帖
与我相关
我的任务
社区描述
MS-SQL Server 疑难问题
社区管理员
  • 疑难问题社区
  • 尘觉
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧