社区
基础和管理
帖子详情
大容量数据表设计思路
zhouxm0521
2008-01-07 06:04:39
有一个数据表,每天生成的计录量约为3000*48,为3000个对象,各个对象每天约存48条记录(其中有一个大二进制字段),大约保存5年的记录,用分区表来实现行吗?大家给个建议,该如何设计最合理。谢谢了!
...全文
134
8
打赏
收藏
大容量数据表设计思路
有一个数据表,每天生成的计录量约为3000*48,为3000个对象,各个对象每天约存48条记录(其中有一个大二进制字段),大约保存5年的记录,用分区表来实现行吗?大家给个建议,该如何设计最合理。谢谢了!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
8 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
caofusheng
2008-01-11
打赏
举报
回复
分区建表
zhouxm0521
2008-01-11
打赏
举报
回复
大约会有500G左右,我过去的设计是分对象、分库设计的(Sql Server)的,访问起来速度很快,但是现在甲方有自己的标准,一个对象用一个表是不可能了,看来只能用分区了,数据文件大小问题反而不大,服务器是磁盘阵列,数据文件自动会放到多个磁盘上。
jyd30
2008-01-10
打赏
举报
回复
可按时间分区建表。
可考虑用时间段分区。
hyrongg
2008-01-09
打赏
举报
回复
1: 表分区设计
2:表空间数据文件存放尽量避免在同一磁盘,多用几个不同的磁盘来存放DB file.
kinglht
2008-01-08
打赏
举报
回复
可以这样:每个对象用一张表,每个表按时间分区,对象和表名之间的关系用一张配置表配置,程序中采用动态sql处理,我们现在的一个系统的综合查询就是这样做的。
zhouxm0521
2008-01-08
打赏
举报
回复
人气不旺呀!
zhouxm0521
2008-01-08
打赏
举报
回复
我也是这个思路,就是担心数据量容量太大了 ,一条记录占用2K左右,并且记录条数也太多了。分区表是否与分表设计的效果一样?
CathySun118
2008-01-08
打赏
举报
回复
使用分区表,按照时间或对象分区
ClickHouse大数据分析技术与实战
1、可支持PB级超
大容量
的数据库管理系统。 2、基于SQL语句, 使用成本低。 3、超亿级数据量分析的秒级响应,计算性能横向扩展。 4、海量数据即查即用。 5、提供数据的预聚合能力,进一步提升数据查询的效率。...
SaaS系统中的数据模型
设计
思路
在
设计
SaaS系统的数据模型时出于服务客户及减低开发成本等考虑,在数据的共享和隔离之间求得一定的平衡是必须考虑的一个重要因素。 因此一般在
设计
对应数据模型时不仅要考虑到技术因素,例如怎样构建一个弹性架构以支持数目不定的客户、怎样消除
大容量
并发访问数据库对系统性能造成的压力以及怎样允许用户按需扩展自定义数据等;同时也必须将商业因素纳入考虑范围之中,例如架构在该SaaS系统上的业务应用主要面向哪
大规模数据采集流程和
思路
爬虫是一个比较容易上手的技术,也许花5分钟看一篇文档就能爬取单个网页上的数据。但对于大规模爬虫,完全就是另一回事,并不是1*n这么简单,还会衍生出许多别的问题。 系统的大规模爬虫流程如图所示。 先检查是否有API API是网站官方提供的数据接口,如果通过调用API采集数据,则相当于在网站允许的范围内采集,这样既不会有道德法律风险,也没有网站故意设置的障碍;不过调用API接口的访问则处于...
大数据平台
设计
思路
一、什么是大数据平台一般情况下,大数据平台指的是使用了Hadoop、Spark、Storm、Flink、Blink等这些分布式、实时或者离线计算框架,并在上面运行各种计算任务的平台。建设大...
Mysql 单表适合的最大数据量是多少?如何优化其性能?
我们说 Mysql 单表适合存储的最大数据量,自然不是说能够存储的最大数据量,如果是说能够存储的最大量,那么,如果你使用自增 ID,最大就可以存储 2^32 或 2^64 条记录了,这是按自增 ID 的数据类型 int 或 bigint 来计算的;如果你不使用自增 id,且没有 id 最大值的限制,如使用足够长度的随机字符串,那么能够限制单表最大数据量的就只剩磁盘空间了。显然我们不是在讨论这个问...
基础和管理
17,377
社区成员
95,128
社区内容
发帖
与我相关
我的任务
基础和管理
Oracle 基础和管理
复制链接
扫一扫
分享
社区描述
Oracle 基础和管理
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章