社区
MS-SQL Server
帖子详情
关于数据量大的表的处理方法,求助,谢谢
qyfei
2004-05-07 04:35:34
大家平时肯定都遇到过记录很多的表的处理,比方说,食堂刷卡吃饭,记录刷卡时间,刷卡金额,刷卡机代码等信息,比方一天有三餐,每餐有几千甚至更多的人吃饭,每人每餐刷卡2-3次甚至再多,那么每一餐产生的刷卡记录就有好几万条。
那么对于这样的表应该怎么处理呢,如果要产生刷卡记录的报表等,采取什么样的方式会更好呢,希望有经验的人给予帮助,谢谢。(2004-05-07)
...全文
85
6
打赏
收藏
关于数据量大的表的处理方法,求助,谢谢
大家平时肯定都遇到过记录很多的表的处理,比方说,食堂刷卡吃饭,记录刷卡时间,刷卡金额,刷卡机代码等信息,比方一天有三餐,每餐有几千甚至更多的人吃饭,每人每餐刷卡2-3次甚至再多,那么每一餐产生的刷卡记录就有好几万条。 那么对于这样的表应该怎么处理呢,如果要产生刷卡记录的报表等,采取什么样的方式会更好呢,希望有经验的人给予帮助,谢谢。(2004-05-07)
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
shuzai
2004-05-08
打赏
举报
回复
分区表
internetcsdn
2004-05-08
打赏
举报
回复
前三楼
zhaokeke2004
2004-05-08
打赏
举报
回复
如果需要以前的数据,就要及时得copy到历史表中,并且删除原表中的记录
饮水需思源
2004-05-07
打赏
举报
回复
别忘了使用事务来处理
zlgf7980
2004-05-07
打赏
举报
回复
建立临时表。
8992026
2004-05-07
打赏
举报
回复
1、备份、删除过时记录
2、索引加快查询速度
MySQL单
表
数据量
大
处理
方法
:优化、升级与维护策略
博客围绕MySQL单
表
数据量
大的问题,提出多种
处理
方法
。包括优化现有数据库,如索引、
表
结构、SQL语句优化等;升级数据库类型,选择兼容MySQL的数据库;更换数据库架构,采用大数据解决方案或云数据库服务;还强调定期维护,如分析慢查询日志、更新
表
统计信息。
【hive】数据倾斜-大
表
小
表
join优化mapjoin
本文深入探讨了Hive调优的两大类别,参数优化和开发中优化,重点讲解了如何
处理
笛卡尔乘积和小
表
join大
表
的问题。通过设置Hive参数,如启用mapjoin,调整小
表
大小阈值,可以显著提升小
表
join大
表
的性能,特别是对于笛卡尔乘积场景。此外,对于大
表
join大
表
的笛卡尔乘积,建议避免使用或通过特殊
方法
分散
处理
。最后,提出了通过UDF或Spark作为替代方案来解决笛卡尔乘积问题。
【Spark】Spark数据倾斜解决方案、大
表
join小
表
及大
表
join大
表
优化思路
本文聚焦Spark中的数据倾斜问题,即shuffle过程中因不同key对应
数据量
不同,导致不同task
处理
数据量
有差异。文中给出四种解决方案,包括两阶段聚合、广播join、使用随机数前缀和扩容RDD进行join、提高shuffle read task并行度,还提及大
表
join的优化思路。
MySQL大
表
数据
处理
面对2400万条记录的大
表
,团队探讨了多种优化方案,包括时间分区、
数据量
分区、分
表
和数据定时迁移。最终选定时间分区,并通过创新的竖
表
策略解决唯一键冲突,确保数据完整性和查询效率。
如何优化MySQL千万级大
表
,我写了6000字的解读
本文探讨了千万级
数据量
的
表
优化策略,从规范设计、业务层优化、架构层优化、数据库优化及管理优化五个方面,提供了全面的优化方案,旨在解决大
表
带来的性能瓶颈。
MS-SQL Server
34,875
社区成员
254,639
社区内容
发帖
与我相关
我的任务
MS-SQL Server
MS-SQL Server相关内容讨论专区
复制链接
扫一扫
分享
社区描述
MS-SQL Server相关内容讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章