社区
MySQL
帖子详情
千万级别mysql设计如何做最好?
一秒一次郎
2012-07-15 04:57:38
1、大概储存几千万条数据
2、每天的读取大概在几十万次
3、表里面只有一个字段存储大量内容,该字段存储的内容大概在几K
4、该表内所有的字段每次访问都需要用到
5、数据查询只通过ID字段进行
大概就这5方面的要求,应该如何设计最优?
小弟初步的打算是 根据ID分表、分库 , 把ID设为索引
也请大家评论一下,另外更希望大家提出自己的意见,谢谢
...全文
203
9
打赏
收藏
千万级别mysql设计如何做最好?
1、大概储存几千万条数据 2、每天的读取大概在几十万次 3、表里面只有一个字段存储大量内容,该字段存储的内容大概在几K 4、该表内所有的字段每次访问都需要用到 5、数据查询只通过ID字段进行 大概就这5方面的要求,应该如何设计最优? 小弟初步的打算是 根据ID分表、分库 , 把ID设为索引 也请大家评论一下,另外更希望大家提出自己的意见,谢谢
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
9 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
rucypli
2012-07-20
打赏
举报
回复
[Quote=引用 8 楼 的回复:]
引用 6 楼 的回复:
1kw * 9kB = 90GB,还真不算多。
mysql 单表 200G,可以承受吗
[/Quote]
200G是有点大 分吧
一秒一次郎
2012-07-16
打赏
举报
回复
[Quote=引用 6 楼 的回复:]
1kw * 9kB = 90GB,还真不算多。
[/Quote]
mysql 单表 200G,可以承受吗
一秒一次郎
2012-07-16
打赏
举报
回复
[Quote=引用 5 楼 的回复:]
几千万的数据只通过id查询分什么表啊 完全没有必要
[/Quote]
mysql 单表 200G,可以承受吗
iihero_
2012-07-16
打赏
举报
回复
1kw * 9kB = 90GB,还真不算多。
rucypli
2012-07-15
打赏
举报
回复
几千万的数据只通过id查询分什么表啊 完全没有必要
一秒一次郎
2012-07-15
打赏
举报
回复
[Quote=引用 3 楼 的回复:]
应该涉及数据库设计是一方面,另外数据库的架构也是一方面。
数据库设计应该是分区表处理了。
数据库架构应该读写分离操作,mysql复制或mysql cluster处理。
[/Quote]
能具体说一下步骤吗,我看的有点蒙,我新手刚接触,不太懂架构
Rotel-刘志东
2012-07-15
打赏
举报
回复
应该涉及数据库设计是一方面,另外数据库的架构也是一方面。
数据库设计应该是分区表处理了。
数据库架构应该读写分离操作,mysql复制或mysql cluster处理。
一秒一次郎
2012-07-15
打赏
举报
回复
[Quote=引用 1 楼 的回复:]
尝试一下分区表。
3、表里面只有一个字段存储大量内容,该字段存储的内容大概在几K
这个专门另设一表。
[/Quote]
10W数据就有2G,分区要分几百个?
针对该字段设置单建立表的话
那么联表查询的时候会不会耗费时间,因为该表内所有字段每次都会用到,如果单建立表的话,所以每次都要联表查询
ACMAIN_CHM
2012-07-15
打赏
举报
回复
尝试一下分区表。
3、表里面只有一个字段存储大量内容,该字段存储的内容大概在几K
这个专门另设一表。
Mysql
千万
级别
数据如何
做
分页?
后端开发中为了防止⼀次性加载太多数据导致内存、磁盘IO都开销过⼤,经常需要分⻚展示,这个时候就需要⽤到
MySQL
的LIMIT关键字。但你以为LIMIT分⻚就万事大吉了么,LIMIT在数据量⼤的时候极可能造成深度分页问题。 例如,上图,我们在查user表时,
mysql
会先根据条件去磁盘检索得到符合条件的所有数据,然后在到内存中去
做
相应的排序和分页,最后得到一页数据返回,如果当我们数据达到
千万
级别
时,仅用limit,当查询的条件多且大时,将会造成灾难性的后果,此时,我们如何解决呢? 例如,我们通过explain
Mysql
千万
级别
数据如何
做
分页
一、先来看看对SQL优化的理解 SQL优化可分为两个部分,一个是
设计
阶段,另一个是查询阶段
设计
阶段运用到的优化: 使用适当的数据库列类型和大小(需要保证表
设计
的字段长度足够使用,且最小。比如性别gender字段可以用tinyint(1)即可)。小点的话,可以节省硬盘空间和检索时间。 尽量从
设计
上采用单表查询解决业务问题。 在适当字段加入索引,能用唯一索引用唯一索引(性能比普通索引高)。 查询阶段涉及的优化: 尽可能不用select *:让优化器无法完成索引覆盖扫...
你知道
MySQL
是如何处理
千万
级数据的吗?
mysql
分表思路 一张一亿的订单表,可以分成五张表,这样每张表就只有两
千万
数据,分担了原来一张表的压力,分表需要根据某个条件进行分,这里可以根据地区来分表,需要一个中间件来控制到底是去哪张表去找到自己想要的数据。 **中间件:**根据主表的自增 id 作为中间件(什么样的字段适合
做
中间件?要具备唯一性) **怎么分发?**主表插入之后返回一个 id,根据这个 id 和表的数量进行取模,余数是几就往哪张表中插入数据。 **注意:**子表中的 id 要与主表的 id 保持一致 以后只有插入操作会用到主表,
mysql
千万
级数据分表_
mysql
千万
数据级分表
设计
及实现方案
针对系统数据表日渐增长的数据量,分库分表是减少数据库压力,增加db操作效率的常见解决方案。就目前项目系统而言,数据量级基本多张表已达3kw至6kw的量级。下面对笔者针对系统db结构,结合O2O业务特性整理的分表
设计
思路及实践方案的讨论。
设计
思路:1、首先确定是否要分表:就一般系统而言,数据量达到kw
级别
,慢sql数量增多,基本就需要考虑分表操作。2、确定分成几张表:这个根据数据增长量估算,简言之,...
mysql
事务隔离
级别
MySQL
事务隔离
级别
read uncommitted ,read committed ,repeatable read ,serializable
MySQL
56,677
社区成员
56,708
社区内容
发帖
与我相关
我的任务
MySQL
MySQL相关内容讨论专区
复制链接
扫一扫
分享
社区描述
MySQL相关内容讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章