2021-01-13：很多列的数据，任意一列组合查询，mysql能做到，但是上亿的数据量做不到了，查的时候非常慢。我们需要一个引擎来支持它。这个引擎你有了解过吗

福大大架构师每日一题 2021-01-13 06:59:14

2021-01-13：很多列的数据，任意一列组合查询，mysql能做到，但是上亿的数据量做不到了，查的时候非常慢。我们需要一个引擎来支持它。这个引擎你有了解过吗？

...全文

1741 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

KeepSayingNo 2021-01-13

打赏
举报

回复

这么大的数据量为什么不分库分表呢，放一张表也不合适啊

老紫竹 2021-01-13

打赏
举报

回复

你这个是即席查询，也就是列随意组合。建议看列存MPP数据库，比如GBase 8a, GP等。

huoxin4415 2021-01-13

打赏
举报

回复

大数据量专注搜索可以考虑Elastic Search（ES）

福哥答案2021-01-13：答案来自此链接：数据库存储设计一般分为行存储还有列存储。行存储一般每一行的数据通过主键聚簇索引存储在一起，列存储一般每一列的数据存储在一起。问题中说的任意一列组合查询，针对上亿的数据量，最好采用基于列存储的 OLAP 场景业务的解决方案。但是 MySQL 原生是不支持列存储引擎的，因为 MySQL 的各种接口抽象以及优化器基本都是基于行存储设计的，用列存储思路实现存储引擎会很别扭，一般不会这么做。大部分业务列存储基本会从 Hbase 或者 Hive 这样的基于 Hadoo

mysql-8.0.11-winx64 安装配置: mysqld --initialize --console MYSQL:ERROR 1045 (28000): Access denied for user 'ODBC'@'localhost——MySQL5.7修改密码 mysql-8.0.11 不再有 my.ini 配置文件了. 通过mysqld -...

目录一、多列索引二、测试案例及过程 1、创建一个测试数据库和数据表 2、添加两个单列索引 3、查询一条数据利用到两个列的索引 4、查看执行计划 5、然后删除以上索引,添加多列索引 6、再次查询三、多列索引的使用顺序 1、怎么选择建立组合索引时，列的顺序 2、组合索引的使用规则一、多列索引我们经常听到一些人说"把WHERE条件里的列都加上索引"，其实这个建议非常错误。在多个列上建立单独的索引大部分情况下并不能提高MySQL的查询性能。MySQ...

二进制日志（BINLOG）记录了所有的 DDL（数据定义语言：创建数据库…）语句和 DML（数据操纵语言：增删改）语句，但不包括数据查询（SELECT、SHOW）语句。①. 灾难时的数据恢复；因为二进制日志中记录了数据库、表、以及数据的变更。只需要把这里面的语句再次执行就可以恢复数据了。②. MySQL的主从复制。在MySQL8版本中主从复制底层原理就是基于二进制日志的，具体查看下一章。

MySQL load data 语句能快速将一个文本文件的内容导入到对应的数据库表中

51,394

社区成员

85,825

社区内容

发帖

与我相关

我的任务

javaspring bootspring cloud 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章