社区
MySQL
帖子详情
mysql千万或者上亿的数据怎么设计数据库?
findshine
2017-10-26 11:41:27
mysql百万或者一两千万的数据知道可以通过分表来解决,但是如果八九千万级别或者过亿级别的数据库应该怎么设计呢?
是不是会用到多个服务器?还望指教!
...全文
6534
8
打赏
收藏
mysql千万或者上亿的数据怎么设计数据库?
mysql百万或者一两千万的数据知道可以通过分表来解决,但是如果八九千万级别或者过亿级别的数据库应该怎么设计呢? 是不是会用到多个服务器?还望指教!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
8 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
LongRui888
2017-10-30
打赏
举报
回复
首先是分表,每个表的数据最好控制在百万级,是否要拆分服务器,这个看你的情况,如果负载很高,就得分库,然后把不同的库放到不同的服务器上了。
偏安zzcoder
2017-10-29
打赏
举报
回复
分布式存储,优化SQL语句,合理创建索引,这几个算是比较常见的方法了吧
kampoo
2017-10-29
打赏
举报
回复
可以通过时间或者其他口径进行切片,原来有个项目中,有个大表是保存员工发送的消息记录,每年一亿条左右,5万员工,按年切片成表,每年的消息记录创建一个历史表,索引设计得当,查询速度满足要求,都保存在一台服务器上的一个mysql库运行多年。要不要分库或者分服务器,看需求包括业务需求和性能需求。
wandier
2017-10-27
打赏
举报
回复
这就要分多db啊,根据规则到不同的db上找数据,互联网成片上万台机器不都是这样管理的吗
zjcxc
2017-10-27
打赏
举报
回复
分表通常可见的优势是我们可以把操作分散在多个表中 一方面是并行,比如统计1000万的数据,在一个表中统计依赖于数据库系统会不会并行,而在10个表中,就算数据库不支持并行,我们也可以自己并行处理10个表之后再汇总统计结果 另一方面是分散,比如我们对历史数据和当前数据,通常会有不同的处理需求,当前表数据变化频率,我们可能需要实时统计,需要比较多的索引,而历史表数据基本不变化,我们可能把统计结果写一张表,这样历史表可以不太需要索引 如果只考虑分表,不分服务器,那么对于海量的处理量而言,不但服务器要求足够好,还容易出问题(高负荷都在这一个点上),这个时候分服务器不但能够大大降低服务器的要求,还能够分化风险
zjcxc
2017-10-27
打赏
举报
回复
拆分到多个服务器是有必要的 当然,不能武断的说多大的量就一定要分表,多在的量一定要分服务器,这还是取决于具体的数据处理需求 但在设计上,如果你应对的是大数据,分表分服务器是必须要考虑的
牛尚小又何妨
2017-10-27
打赏
举报
回复
如果比较旧的数据很少被访问,通过合理设计索引和分表应该也可以吧
MySQL
性能优化全过程落地方案(工业界真实
数据
场景实操)
在互联网公司中,
MySQL
用的非常广泛,通常系统产品实现初期 一般要求实现功能,然后再后期
数据
量不断增大的情况下,系统的性能就出现了问题,其中
MySQL
性能影响占据很大一部分,所以我们需要了解
MySQL
原理,以及优化的专业知识,才能对
mysql
性能优化得心应手。学习该课程的价值:1增加自己的知识深度,学习完
MySQL
原理,其他
数据
库
产品类似,达到触类旁通。2、一般企业或者大厂都要求会
MySQL
性能优化,面试过程也会问到,学会后不仅提高自己的专业水平,而且可以给自己跳槽涨薪机会。本课程基于电商环境测试
数据
讲解,
数据
量400w+。课程结尾会基于真实的环境进行
MySQL
调优讲解,让大家在实战中掌握
MySQL
性能知识,能够把调优技术真实用到实际生产环境中。本课程包含的技术: IDEA集成开发工具
MySQL
架构存储引擎SQL优化基础知识
MySQL
日志执行计划
MySQL
索引Spring Boot Spring Cloud
Mysql
性能优化实战等
Mysql
数据
库
插入中文
数据
乱码,显示???
环境介绍: Ubuntu 18.04(x86_64)
MySQL
v_8.0.22 问题背景: 前端提交form表单到Server A Server A 转发请求到Server B Server B 插入
数据
到
MySQL
数据
表 表象:
数据
表中的中文字段显示为乱码 {???} 解决流程: 问题定位: 检查
MySQL
数据
库
的编码设置(由于手动插入中文
数据
没有出现乱码问题,所以这一步骤对我来讲不是那么care) // 登录
mysql
mysql
-u root -p // 检查编码设置
mysql
做十亿条
数据
查询_
数据
库
优化:
mysql
数据
库
单机数十亿
数据
查询
设计
很久没写文章,是不是想着写点什么东西,分享下我的
数据
库
设计
思路,主要是针对单机数十亿及以上
数据
查询优化技巧。如果只是简单的查询,没有频繁的写入操作,对查询速度不要求在毫秒级别,就不需要什么大型的
数据
库
软件
设计
复杂的集群关系,也不需要分布式水平分割等太重的优化。只需要用
mysql
在本机笔记本搭建一个普通的环境就行。那么首先是针对
mysql
做一些普通常见的优化,比如分表分区、建索引、表字段
设计
以及my...
mysql
数据
库
物理结构
设计
_
MySQL
数据
库
结构
设计
前言在编码过程中,如果
MySQL
数据
结构
设计
不好的话,会大大影响开发人员编码效率。比如说
MySQL
数据
库
表
设计
不规范,创建时间字段
设计
成cjsj,创建者字段
设计
成cjr或者cjz。这样的
数据
库
表可读性和表意性相当差。下面我们就来讲讲如何规范
设计
数据
库
结构。
数据
库
结构优化
数据
库
结构优化的目的有哪些?减少
数据
冗余。尽量避免
数据
维护中出现更新,插入,删除异常。插入异常是指如果表中的某个实体随着另一个实体...
MySQL
单表十亿级别
数据
量
设计
和优化
MySQL
单表十亿级别
数据
量
设计
和优化需求分析
设计
思路表结构
设计
SQL优化 需求分析 每天定时4000千万条
数据
入表(采用load data infile 加载文件入表),保存6个月
数据
,估算单表总
数据
量70亿左右。表中有18个字段。每天定时建立两个分区。查询需用到开始时间startTime和结束时间stopTime字段。
设计
思路 1.
数据
库
设计
和表创建时就要考虑性能 选择合适的
数据
类型 使用可存下
数据
的最小的
数据
类型,整型 < date,time < char,varchar <
MySQL
56,687
社区成员
56,710
社区内容
发帖
与我相关
我的任务
MySQL
MySQL相关内容讨论专区
复制链接
扫一扫
分享
社区描述
MySQL相关内容讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章