社区
疑难问题
帖子详情
日入数据在200w的简单表,只有top id查询,和根据id更新。长久考虑,需要前期做什么准备??
mdjs198
2016-06-15 11:18:04
现在在做一个日志记录的数据库表,预计每天入库数据200万条。日常只有2个操作(后台程序完成的),top 1000 条0状态的数据 按id排序。然后每个数据排查完毕后,根据id更新信息。
长久下去的话 200万*356天=7亿3000万,后期查询和更新上是否会有问题?
有没有必要做分区表,或者其他优化?
...全文
137
4
打赏
收藏
日入数据在200w的简单表,只有top id查询,和根据id更新。长久考虑,需要前期做什么准备??
现在在做一个日志记录的数据库表,预计每天入库数据200万条。日常只有2个操作(后台程序完成的),top 1000 条0状态的数据 按id排序。然后每个数据排查完毕后,根据id更新信息。 长久下去的话 200万*356天=7亿3000万,后期查询和更新上是否会有问题? 有没有必要做分区表,或者其他优化?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
kingtiy
2016-06-15
打赏
举报
回复
如果查询操作,只是依据id,状态的话,可以为表设计一个聚集索引(id,状态)两列 之于数据表要不要分区,我觉得还是有必要的.
唐诗三百首
2016-06-15
打赏
举报
回复
建议考虑定期做日志归档,例如当前表只保留3个月内的数据,超过3个月的数据,转入历史数据的数据库.
卖水果的net
2016-06-15
打赏
举报
回复
分区表、定时删除 都可以选择; 个人比较建议使用分区表,一个分区存最近一个月的,一个分区历史记录;当然了,历史数据也可以按月分区;
human_2000
2016-06-15
打赏
举报
回复
如果更新时,会把状态从0更新成其他的 我会分成2张表 当前表 (状态全是 0) 历史表 (状态不为0),考虑按月分区 当前表更新是+触发器 ,插入历史表,删除当前表
数据
仓库——分层原理
一、数仓建模的意义,为什么要对
数据
仓库分层? 只有用
数据
模型将
数据
有序的组织和存储起来之后,大
数据
才能得到高性能、低成本、高效率、高质量的使用。 1、清晰
数据
结构:每一个
数据
分层都有它的作用域,这样我们在使用
表
的时候能更方便地定位和理解。
数据
关系条理化:源系统间存在复杂的
数据
关系,比如客户信息同时存在于核心系统、信贷系统、理财系统、资金系统,取数时该如何决策呢?
数据
仓库会对相同主题的
数据
进行统一建模,把复杂的
数据
关系梳理成条理清晰的
数据
模型,使用时就可避免上述问题了。 2、
数据
血缘
不用索引怎么优化百亿
数据
? | MySQL性能优化篇
百亿
数据
怎么
查询
?怎么插入?怎么
更新
?怎么删除?这篇文章将从底层到面试必问性能问题讲透
数据
库性能优化问题
万字详解数仓分层设计架构 ODS-DWD-DWS-ADS
只有
数据
模型将
数据
有序的组织和存储起来之后,大
数据
才能得到高性能、低成本、高效率、高质量的使用。1)清晰
数据
结构每一个
数据
分层都有它的作用域,这样我们在使用
表
的时候能更方便地定位和理解。
数据
关系条理化:源系统间存在复杂的
数据
关系,比如客户信息同时存在于核心系统、信贷系统、理财系统、资金系统,取数时该如何决策呢?
数据
仓库会对相同主题的
数据
进行统一建模,把复杂的
数据
关系梳理成条理清晰的
数据
模型,使用时就可避免上述问题了。2)
数据
血缘追踪
简单
来讲可以这样理解,我们最终给业务诚信的是一能直接使用的张业务
表
,但是它的
2W字详细解答面试必问的数仓分层设计架构(建议收藏)
点击上方 "大
数据
肌肉猿"关注,星标一起成长点击下方链接,进入高质量学习交流群今日
更新
| 1052个转型案例分享-大
数据
交流群一、数仓建模的意义,为什么要对
数据
仓库分层?只有
数据
模型将
数据
有序的组织和存储起来之后,大
数据
才能得到高性能、低成本、高效率、高质量的使用。1、分层意义1)清晰
数据
结构:每一个
数据
分层都有它的作用域,这样我们在使用
表
的时候能更方便地定位和理解。
数据
关系条理化:源系统间存在...
数据
分析从零到精通第一课
数据
分析技巧和OLAP工具简介
开篇词 避免踩坑 搭建
数据
分析师的核心竞争力 你好,我叫“取经儿”,是北京回龙观的一名
数据
“民工”,你可以直接叫我“经哥”。 我毕业后先在电信工作了 3 年,2015 年开始转行成为一名
数据
分析师。之后近 6 年的时间里,我就职过多家互联网公司,服务过很多产品线,从 To B 到 To C ,从用户侧到商业广告侧,从日活百万的 App 到日活过亿的服务,从每天收入十几万的产品到
日入
几千万的产品等,都给了我很多宝贵的经验积累。
数据
分析工作中的趣味与挑战 于我而言,从事
数据
分析工作是一件有趣又具有挑战的事儿
疑难问题
22,210
社区成员
121,726
社区内容
发帖
与我相关
我的任务
疑难问题
MS-SQL Server 疑难问题
复制链接
扫一扫
分享
社区描述
MS-SQL Server 疑难问题
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章