-
等级
本版专家分：0结帖率 42.86% -
在2000万条数据的数据库中进行数据处理，除了建索引还有什么其他有效的提高查询效率的方法吗？展开阅读全文
-
等级
本版专家分：0
-
补充说明，这个数据库是会有数据增加的
-
等级
本版专家分：20
-
可以考虑用表分区.
-
等级
本版专家分：64141勋章
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
- 榜眼 2018年总版新获得的技术专家分排名第二
-
- 进士 2019年总版新获得的技术专家分排名前十
-
-
金牌
2018年10月 总版技术专家分月排行榜第一
2018年9月 总版技术专家分月排行榜第一
2018年8月 总版技术专家分月排行榜第一
-
-
请先贴出表结构、索引 及常用的 查询SQL 。
另外， 大表查询始终是有问题的。
你要问的问题类似：
十字路口每天要过两千万辆车，而且每天还在增加车， 如何才能不堵车？
最好的办法当然还是建立交桥， 花费多点， 但一劳永逸。
最好还是分表， 历史数据（不再修改）放在历史表， 需要修改的数据放在当前表。定期将当前表数据转移到历史表。
-
等级
本版专家分：0 -
首先 要先把 表结构罗列出来 、业务逻辑描述清楚
-
等级
本版专家分：196勋章
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
-
分表吧，可以考虑按时间(如年月)分表，或者按功能分表(如OA流程一个流程对应一个表)；将就使用可能导致的问题是，你必须优化每条SQL，否则一但出现Table Scan的全表遍历，这效率直接就哭了
- 干货｜一次MySQL两千万数据大表的优化过程，三种解决方案！
使用阿里云rds for MySQL数据库（就是MySQL5.6版本），有个用户上网记录表6个月的数据量近2000万，保留最近一年的数据量达到4000万，查询速度极慢，日常卡死。严重影响业务。 问题前提：老系统，当时设计系统的人...
- 在一个千万级的数据库查寻中，如何提高查询效率？
一、数据库设计方面 1、对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引； 2、应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表...
- 在千万级的数据库查询中，如何提高效率？
1）数据库设计方面 a. 对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。b. 应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表...
- (转)怎样玩转千万级别的数据
大数据处理是一个头疼的问题，...我把我最常用的几种方式总结来与大家分享，大家还有更多的数据库设计和优化的 技巧，尽量的追加到评论中，有时一篇完整的博客评论比主题更为精彩。 方法1：采用表分区技术。 第...
- 数据库, 数据仓库, 数据集市，数据湖，数据中台
转载声明 本文大量内容系转载自以下文章，有删改，并参考其他文档资料加入了一些内容： 数据仓库和数据集市的区别 ...本文简要介绍数据库 数据仓库和数据集市概念，并做简要对比。 0x01 数据仓库和数据库 1.1 数...
- 千万级别的数据库优化
转载：https://iamjohnnyzhuang.github.io/database/2016/07/05/%E5%8D%83%E4%B8%87%E7%BA%A7%E6%95%B0%E6%8D%AE%E4%B8%8B%E7%9A%84Mysql%E4%BC%98%E5%8C%96.html前言...然而真正的系统易用应该讲数据量展望拓展到千...
- 如何在SQLServer中处理每天四亿三千万记录的（数据库大数据处理）
首先声明，我只是个程序员，不是专业的DBA，以下这篇文章是从一个问题的解决过程去写的，而不是一开始就给大家一个正确的结果，如果文中有不对的地方，请各位数据库大牛给予指正，以便我能够更好的处理此次业务。...
- 数据库SQL千万级数据规模处理概要
我在前年遇到过过亿条的数据。以至于一个处理过程要几个小时的。后面慢慢优化，查找一些经验文章。才学到了一些基本方法。综合叙之，与君探讨之。 1. 数据太多。放在一个表肯定不行。比如月周期表。一个月1000万，...
- 浅谈--数据库 SQL千万级数据处理解决方案
在这个大数据兴起的时代，过亿条的数据的处理已经不少见了。以至于一个处理过程要几个小时的。后面慢慢优化，查找一些经验文章。才学到了一些基本方法。分享一下，由于不是专业的DBA，可能不是最优的解决方案,共同...
- 百万级别数据库优化方案
2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null最好不要给数据库留NULL，尽可能的使用 NOT NULL填充数据库.备注、描述、...
- java如何读取1千万级别的数据
把一千万的数据读取出来在网络进行传输，这样性能消耗也会有瓶颈。 所以，读取大批量的数据一般都是采用分批次的读取方式。 （一）通过测试，一万条数据一次性读取出来所花费的时间要比分十次，每次读1千数据的...
- 记录一次MySQL两千万数据的大表优化解决过程，提供三种解决方案
使用阿里云rds for MySQL数据库（就是MySQL5.6版本），有个用户上网记录表6个月的数据量近2000万，保留最近一年的数据量达到4000万，查询速度极慢，日常卡死。严重影响业务。 问题前提：老系统，当时设计系统的人...
- 一次MySQL两千万数据大表的优化过程，三种解决方案！(干货)
使用阿里云rds for MySQL数据库（就是MySQL5.6版本），有个用户上网记录表6个月的数据量近2000万，保留最近一年的数据量达到4000万，查询速度极慢，日常卡死。严重影响业务。 问题前提：老系统，当时设计系统的人...
- JAVA向Mysql插入亿级别数据---测评
前景：这几天研究mysql优化中查询效率时，发现测试的数据太少（10万级别），利用EXPLAIN比较不同的SQL语句，不能够得到比较有效的测评数据，大多模棱两可，不敢通过这些数据下定论。 所以通过模拟生成人员相关、...
- mysql数据库千万级别数据的查询优化和分页测试
我原来的公司是一家网络游戏公司,其中网站交易与游戏数据库结合通过ws实现的,但是交易记录存放在网站上,级别是千万级别的数据库是mysql数据库. 可能有人会问mysql是否支持千万级数据库,还有既然已经到了这个...
- 千万级别数据表创建索引
业务背景最近一个开发维护的公众号管理系统用户表（user_info）数据已经达到15,000k了，而此时有一个业务场景需要将公众号的用户信息重新同步一次，且后台原有过针对单个公众号的用户同步，但是已经非常难以使用，...
- MySQL两千万数据的大表优化解决过程，提供三种解决方案
使用阿里云rds for MySQL数据库（就是MySQL5.6版本），有个用户上网记录表6个月的数据量近2000万，保留最近一年的数据量达到4000万，查询速度极慢，日常卡死。严重影响业务。 问题前提：老系统，当时设计系统的人...
- Tomcat面试题+http面试题+Nginx面试题+常见面试题
答：缺省端口是8080，若要修改，可以进入Tomcat的安装目录下找到conf目录下的server.xml文件，找到该文件中的Connector字段中的port。 2、Tomcat有哪几种connector运行模式（服务的请求方式）？ 答：三种。修改它的...
- 分布式服务框架
第2 章 分布式系统基础设施 chapter 第2 章 分布式系统基础设施 │ 59 一个大型、稳健、成熟的分布式系统的背后，往往会涉及众多的支撑系统，我们将这些支 撑系统称为分布式系统的基础设施。除了前面所介绍的分布式...
- MySQL千万级数据处理
除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单...
- 利用MySQL数据库如何解决大数据量存储问题？
各位高手您们好，我最近接手公司里一个比较棘手的问题，关于如何利用MySQL存储大数据量的问题，主要是数据库中的两张历史数据表，一张模拟量历史数据和一张开关量历史数据表，这两张表字段设计的很简单（OrderNo，...
- 我是如何在SQL Server中处理每天四亿三千万记录的
首先声明，我只是个程序员，不是专业的DBA，以下这篇文章是从一个问题的解决过程去写的，而不是一开始就给大家一个正确的结果，如果文中有不对的地方，请各位数据库大牛给予指正，以便我能够更好的处理此次业务。...
- 数据简化社区2018年全球数据库总结及18种主流数据库介绍(公号回复“数据库2018”下载典藏版PDF报告)
数据简化DataSimp导读：Google搜索量最大的DB-Engines数据库排名，介绍前几名数据库特点、云AI区块链等数据库服务；展望2018年数据库发展趋势，本文合计40k字详读约需36分钟。最近群里说国内可以重新使用谷歌搜索、...
- MySQL数据库如何解决大数据量存储问题
各位高手您们好，我最近接手公司里一个比较棘手的问题，关于如何利用MySQL存储大数据量的问题，主要是数据库中的两张历史数据表，一张模拟量历史数据和一张开关量历史数据表，这两张表字段设计的很简单（OrderNo，...
- MySQL数据库百万级数据量分页查询方法及其优化
适应场景:适用于数据量较少的情况(元组百/千级) 原因/缺点:全表扫描,速度会很慢 且 有的数据库结果集返回不稳定(如某次返回1,2,3,另外的一次返回2,1,3). Limit限制的是从结果集的M位置处取出N条输出,其余抛弃....
- 数据库性能优化详解
出处： ...1.数据库访问优化法则 ...要正确的优化SQL，我们需要快速定位能性的瓶颈点，也就是说快速找到我们SQL主要的开销在...而大多数情况性能最慢的设备会是瓶颈点，如下载时网络速度可能会是瓶颈点，本地复制
- oracle千万级别数据量的查询优化介绍
遇到千万级别的数量的查询情况时可以考虑分页的方法，下面介绍如何分页解决此类问题语句："select * from tabname where rownum<20 order by name"但却发现oracle却不能按自己的意愿来执行，而是先...
- C#入门必看实力程序100个
C#入门必看含有100个例字,每个例子都是针对C#的学习关键知识点设计的,是学习C#必须知道的一些程序例子,分享给大家，需要的可以下载
- 自己动手从0到1写嵌入式操作系统
这不是rtos源码分析的课程，而是为初级的同学设计，从基础原理讲师，一步步不断迭代设计rtos的课程！ 用不到【2000行代码，汇编代码仅18行】（不含注释）实现一个精巧的可以运行在ARM Cortex-M内核芯片上的RTOS！ 该RTOS功能与ucos类似，具体实现不同。学习之后，再去学习ucos之类的系统将没有什么问题。 1、系统地掌握RTOS的工作原理及其应用； 2、用更短的时间、更少的精力，学习RTOS相关知识； 3、设计出一个具备自己特色的RTOS。将其用作毕业设计、找工作的敲门砖； 4、提升技术水平，为升职加薪跳槽提供资本。
- c语言项目开发实例
十个c语言案例 （1）贪吃蛇 （2）五子棋游戏 （3）电话薄管理系统 （4）计算器 （5）万年历 （6）电子表 （7）客户端和服务器通信 （8）潜艇大战游戏 （9）鼠标器程序 （10）手机通讯录系统