Mysql每日百万条数据怎么存储和查询

zhw890212 2017-05-18 11:25:09

我们公司会根据客户请求服务在其中一张表中插入日志数据，访问一次就会插入一条。根据运维反应一天会有将近500万的数据入库，原来的业务数据是存储在oracle中（插入没有问题，数据准备要拿去和客户进行对账，查询直接卡死了，所以没办法去对账，运维没办法工作），现在领导决定这个问题，数据库选择在mysql上做。我之前工作没有接触过这么大数据量的表。现在领导给出的方案是要用分表来解决。每张表数据达到500万后生成新表。但是分表的同时还要考虑用户名和时间两个查询维度，在分表的同时要根据这两个维度建表。最终要求20分钟能查询到数据就能满足要求，但是我觉得这样做不是问题的解决办法，也不清楚上面那样做能提升性能到什么程度，能不能满足要求。我现在想知道有没有已有正确的解决办法，我现在只能按领导说的办法去试试看看达到什么程度，没有这方面经验真的感觉无处下手，我先按分表的思路去解决吧，请大家看看我还可以怎么做。

...全文

888 6 打赏收藏转发到动态举报

写回复

6 条回复

切换为时间正序

请发表友善的回复…

发表回复

c_sdn_shang_bu_qi 2017-05-26

打赏
举报

回复

365天每天一张表，10年单表也才5000万

ACMAIN_CHM 2017-05-23

打赏
举报

回复

分区表尝试一下。

zjcxc 2017-05-22

打赏
举报

回复

无尽的数据放在无尽的表是正常的，无尽的数据都堆在一个表才不正常吧

zjcxc 2017-05-19

打赏
举报

回复

直接按时间分表吧，如果 500 万一个表也嫌多，可以1小时一个表，反正你自己控制分表之后，查询会比较简单，容易创建索引分时间段查的话，根据时间段就可以直接锁定到要查哪些表按用户编号查就需要查所有表，但每个表都有用户编号索引，并发从多个表可查出数据也可以很快（当然，满足条件的数据量大的话，这始终是需要花较长时间的）

ckc 2017-05-19

打赏
举报

回复

分表就可以啊，每天一张表就很简单

zhw890212 2017-05-19

打赏
举报

回复

感觉这样分表下去数据的表会无穷无尽啊

Re： MySQL 存储过程（创建海量数据实验环境） ================================# 存储过程概念存储过程是数据库管理中常用的技术之一，可以很方便的做些创建数据、统计数据、分析数据等工作，当前的主流数据库都支持存储过程，但不同的数据库环境语法结构有略微区别，本章给同学们介绍 MySQL 下创建存储过程的方法。 # 存储过程的优点 1) 存储过程大大“减少”了执行需要的资源和时间。 2) 存储过程的能力大大“增强”了SQL语言的功能和灵活性。 3) 包含代码安全性，不需要将代码给用户（将代码打包）可保证数据的“安全性和完整性”。 4) 通过存储过程可以使没有权限的用户在“控制之下”间接地存取数据库。 5) 通过存储过程可以使相关的动作在一起发生，从而可以维护数据库的完整性。 6) 改进性能：减少网络流量（即：只传输存储过程的名字即可执行操作）。 # 创建海量数据实验环境创建完成海量数据的存储过程，产生一千条记录和一百万或二百万条记录，操作上面没有任何区别，唯一区别是占用的时间不同，具备海量数据后，可以为系统压力测试实验，做好物理准备。# （本章具备完整创建海量数据的代码）-----------------------------------------------

文章目录写在前面一、mysql百万条数据分页查询遇到情景？二、如何优化查询1.优化前查询语句2.添加子查询后3.添加between总结写在前面某天我被一个自称技术总监的人问了一个问题,就标题这个,因为我实在没遇到过这种问题,哈哈哈,菜了;然后直接回答了不知道,所以回来之后我就自己实现并找寻了些优化方法,以供参考提示：以下是本篇文章正文内容，下面案例可供参考一、mysql百万条数据分页查询遇到情景？没有到过这种情况的小伙伴可能会想,分页查询怎么会慢;在当你查询limit(1000000,10),

一、两种查询引擎查询速度 innoDB不保存表的具体行数，所以执行select count(*) from table; innoDB要扫描一遍整个表来计算行数，而MyISAM只需要简单的独处保存好的行数即可。需要注意的是当 count(*)语句包含where条件时，两种表的操作有些不同，条件字段如果是主键之外其他具有唯一约束的列时，查询速度会快很多，可以避免全表扫描。二、百万数据下mysql分页问题 – 在开发过程中我们进场使用分页，核心技术是使用limit进行数据的读取，在mysql数据量

前言众所周知，当一个数据库的单表数据量很大时，比如说是百万数量级的，如果我们使用普通的查询语句的话，耗时会非常多（相比加上索引），今天小编带领着大家做一下实验，见证一下具有二百多万条数据的单表，怎样优化查询语句。首先，我们需要往数据库中的某张表中查询百万条数据，小编插入了2646229条记录，请看下面截图。普通的查询语句分析小编今天主要说的是简单查询语句和分页查询语句，我们先从简单的查询语句入手。...

MySQL 百万级/千万级数据存储解决方案百万级、千万级数据处理，个人认为核心关键在于数据存储方案设计，存储方案设计的是否合理，直接影响到数据CRUD操作。总体设计可以考虑一下三个方面进行设计考虑：数据存储结构设计索引设计数据主键设计查询方案设计百万级数据处理方案：数据存储结构设计表字段设计表字段 not null，因为 null 值很难查询优化且占用额外的索引空间，推荐默认数字 0。数据状态类型的字段，比如 status, type 等等，尽量不要定义负数，如 -1。因为这样可以

56,687

社区成员

56,710

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章