举个例子:假如对1000w的数据进行count操作，需要10秒，而我把1000w的数据分到10张表中，单独对每张表进行查询只要1秒，如果我查完一张表再查另外一张表查完10张表的时间还是为10秒，而如果我同时对10张表进行查询，再处理10个count结果，那么时间最多只要1秒多一点，请问mysql有没有实现这个功能的方法或者各位有没有什么好的建议？(count操作只是举例而已)
-
等级
本版专家分：0结帖率 100% -
现在有表的大约有1000w左右，而且以后会持续增加，而且是innodb表，由于对表进行一些全表查询的时候速度较慢，因此决定对表进行分区或者分表。
举个例子:假如对1000w的数据进行count操作，需要10秒，而我把1000w的数据分到10张表中，单独对每张表进行查询只要1秒，如果我查完一张表再查另外一张表查完10张表的时间还是为10秒，而如果我同时对10张表进行查询，再处理10个count结果，那么时间最多只要1秒多一点，请问mysql有没有实现这个功能的方法或者各位有没有什么好的建议？(count操作只是举例而已)展开阅读全文
-
等级
本版专家分：0
-
没人知道吗
-
等级
本版专家分：0
-
顶上去
-
版主
等级
本版专家分：105993勋章
-
-
红花
2017年6月 其他数据库开发大版内专家分月排行榜第一
2017年2月 其他数据库开发大版内专家分月排行榜第一
2013年11月 其他数据库开发大版内专家分月排行榜第一
2013年9月 其他数据库开发大版内专家分月排行榜第一
2013年2月 其他数据库开发大版内专家分月排行榜第一
-
-
黄花
2018年2月 其他数据库开发大版内专家分月排行榜第二
2018年1月 其他数据库开发大版内专家分月排行榜第二
2017年12月 其他数据库开发大版内专家分月排行榜第二
2017年11月 其他数据库开发大版内专家分月排行榜第二
2017年1月 其他数据库开发大版内专家分月排行榜第二
2014年8月 其他数据库开发大版内专家分月排行榜第二
2014年2月 其他数据库开发大版内专家分月排行榜第二
2014年1月 其他数据库开发大版内专家分月排行榜第二
2013年12月 其他数据库开发大版内专家分月排行榜第二
2013年10月 其他数据库开发大版内专家分月排行榜第二
2013年8月 其他数据库开发大版内专家分月排行榜第二
2013年5月 其他数据库开发大版内专家分月排行榜第二
2013年1月 其他数据库开发大版内专家分月排行榜第二
2012年8月 其他数据库开发大版内专家分月排行榜第二
2012年5月 其他数据库开发大版内专家分月排行榜第二
2012年4月 其他数据库开发大版内专家分月排行榜第二
2012年1月 其他数据库开发大版内专家分月排行榜第二
-
-
蓝花
2017年9月 其他数据库开发大版内专家分月排行榜第三
2017年7月 其他数据库开发大版内专家分月排行榜第三
2017年5月 其他数据库开发大版内专家分月排行榜第三
2017年3月 其他数据库开发大版内专家分月排行榜第三
2016年12月 其他数据库开发大版内专家分月排行榜第三
2014年11月 其他数据库开发大版内专家分月排行榜第三
2014年7月 其他数据库开发大版内专家分月排行榜第三
2014年6月 其他数据库开发大版内专家分月排行榜第三
2014年5月 其他数据库开发大版内专家分月排行榜第三
2013年7月 其他数据库开发大版内专家分月排行榜第三
2013年3月 其他数据库开发大版内专家分月排行榜第三
2012年7月 其他数据库开发大版内专家分月排行榜第三
2012年6月 其他数据库开发大版内专家分月排行榜第三
2011年12月 其他数据库开发大版内专家分月排行榜第三
-
-
那是因为你可能数据已经都再内存了
-
等级
本版专家分：0
-
数据怎么会都在内存中了呢，数据不是还是放在数据库里面吗
-
等级
本版专家分：473046勋章
-
- 名人 2012年 荣获名人称号
-
- 榜眼 2010年 总版技术专家分年内排行榜第二
-
- 探花 2009年 总版技术专家分年内排行榜第三
-
-
进士
2013年 总版技术专家分年内排行榜第十
2011年 总版技术专家分年内排行榜第七
-
-
如果你10个表都要查，则不管如何分，效果仍是一样，总共的时间仍然是10秒。
最好能够举一个比较接近实际的例子以方便别人理解问题。
-
等级
本版专家分：0
-
怎么可能时间任然是10秒，我并行查10表那么就只会花费掉一秒钟，再对10个表的结果集进行统计，怎么可能还会要10秒钟呢
我执行一条Sql语句操作1000w条数据要10秒，我把表分成10张，每张100W，这条语句单独查一张表只要1秒，我使用10个线程分别对各个表进行查询，此时只会花费1秒，查询结果再进行一次统计时间肯定会小于10秒的，我的问题就是，mysql有没有这样的实现呢
-
等级
本版专家分：473046勋章
-
- 名人 2012年 荣获名人称号
-
- 榜眼 2010年 总版技术专家分年内排行榜第二
-
- 探花 2009年 总版技术专家分年内排行榜第三
-
-
进士
2013年 总版技术专家分年内排行榜第十
2011年 总版技术专家分年内排行榜第七
-
-
你做过测试吗？ 不要想当然。你的操作系统如果不支持多核，或者你的MYSQL没有配置多线程。 最终的所有操作仍然是你的CPU在一个时刻，只要执行一个操作。
具体的分析，需要看你的表结构及具体的查询语句。 但仅以你目前的例子看。
select count(*) from tableX
肯定是比10个分别的 select count(*) from table1, select count(*) from table2, 要快。
-
等级
本版专家分：0
-
我当然有做过测试啊
-
等级
本版专家分：0
-
你的思路一直停留在单线程处理count方法上面，那么时间长度就是10次count时间的和，这样做完全没有必要进行分表操作，而我是用多线程进行count操作，意味着时长就是10次count操作中的最长的拿一次count的时间+进行逻辑操作sum所有count的时间
-
等级
本版专家分：14356勋章
-
- 签到新秀
-
- 脉脉勋章
-
-
向楼主说的是不会有什么区别的，1000w数据在一个表中查询时需10s，做了分区后10表
每个表的查询需1s,总共查询10s，这不是一样的查询时间，没有任何区别。
- mysql 数据库 分表后 怎么进行分页查询？Mysql分库分表方案?
1.如果只是为了分页，可以考虑这种分表，就是表的id是范围性的，且id是连续的，比如第一张表id是1到10万，第二张是10万到20万，这样分页应该没什么问题。 2.如果是其他的分表方式，建议用sphinx先建索引，然后...
- 数据库分区、分表、分库、分片
一、分区的概念 数据分区是一种物理数据库的设计技术，它的目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间。 分区并不是生成新的数据表，而是将表的数据均衡分摊到不同的硬盘，系统或是不同服务器...
- 数据库分区分库分表其实就这么简单
这些技术看似很高深，其实不难，其核心就是对数据库数据进行划分，将数据放到不同的表、不同数据库中。具体如何划分则需要根据实际业务操作。 讲一讲分区表 分区表是由多个相关的底层表实现，这些底层表也是由句柄...
- 关于数据库分区后的几个查询和补充
数据库日志这块，分区是一个很好的选择，如果不分区，还有一个方法就是日志分表，按月将每个月的数据放到不同的表中。 总之日志这块分区是一个很好的选择，但也不是唯一的选择，还有一个就是syslog。什么是syslog？ ...
- Oracle亿级数据查询处理（数据库分表、分区实战）
大数据量的查询，不仅查询速度非常慢，而且还会导致数据库经常宕机（刚接到这个项目时候，数据库经常宕机o(╯□╰)o）。 那么，如何处理上亿级的数据量呢？如何从数据库经常宕机到上亿数据秒查？仅以此篇文章作为...
- oracle 分表和分区哪个好_如何对oracle数据库分区进行更好的优化？
在墨天轮网站上看到一个类似的问题：对于亿级存量数据的这种 ，除归档转储/分区/分表外 ，Oracle还有其他可选的优化措施吗？专家回答：压缩；ILM - 信息生命周期管理；隔离表空间只读； 物化视图。知识拓展：《 ...
- 数据库分区与分表的区别
简单来说： 分区：只减少读的压力 分表：减少读写的压力
- SQL Server-数据库分区分表（水平）
按照日期字段进行水平分区分表。 要求数据文件按一年一个文件存储，且分区的分割点会根据时间的增长自动添加 （例如现在是2017年1月1日，将其作为一个分割点，即将2017年1月1日之前的数据存储到数据文件A中，将2017...
- 数据库分表和分区
分表:分表就是将一张表分成N张小表, 分区:就是将一张表的数据分成N个区块,这些区块可以放在一个磁盘上.一张表主要对应三个文件: frm:存放表结构 myd:存放表数据 myi:存放索引的 如果一张表数据量太大了的话...
- 数据库分区分表
类似淘宝网这样的网站，海量数据的存储和访问成为了系统设计的瓶颈问题，日益增长的业务数据，无疑对数据库造成了相当大的负载，同时对于系统的稳定性和扩展性提出很高的要求。随着时间和业务的发展，数据库中的表会...
- 数据库分表、分区、分库详解
数据分区是一种物理数据库的设计技术，它的目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间。 分区并不是生成新的数据表，而是将表的数据均衡分摊到不同的硬盘，系统或是不同服务器存储介子中，...
- mysql水平分表和垂直分表和数据库分区
坚信数据库的物理设计在对高级数据库的性能影响上远比其他因素重要。给大家说一下经过专家对Oracle的研究，他们解释了为什么拙劣的物理设计是数据库停机（无论是有计划的还是没计划的）背后的主要原因。但在这点上俺...
- SQL Server数据库分区分表（水平）
将数据库Demo中的表按照日期字段进行水平分区分表。要求数据文件按一年一个文件存储，且分区的分割点会根据时间的增长自动添加（例如现在是2017年1月1日，将其作为一个分割点，即将2017年1月1日之前的数据存储到数据...
- SQL Server数据库分区分表
当一个数据表的数据量达到千万级别以后，每次查询都需要消耗大量的时间，所以当表数据量达到一定量级后我们需要对数据表水平切割。水平分区分表就是把逻辑上的一个表，在物理上按照你指定的规则分放到不同的文件里，...
- 数据库分区分表以及读写分离
另一种是使用数据库管理系统中的分区表方法进。使用存储过程的优化方法有执行速度快的优点，但是其本身不利于调试、没有办法使用数据库缓存机制等缺点，所以在系统安全性和性能要求更高的情况下，建议使用分区表的...
- mysql数据库分表和分区的问题
最近在做公司文件管理的时候遇到一个需求，需要将文件根据部门保存，所以设计了设计了一个部门表用以存储部门和对应文件存储的表号。!... 在页面上根据不同部门和条件先显示...还有有什么比较好的方法可以解决这个问题
- MySql数据库分表分区实践
物联网服务将设备上报的数据转发给数据处理网关，由数据入库网关执行批量入库操作插入数据库。 项目大致技术架构如下图： 2. 问题 接入的设备数量较大时，上报的动态数据数据量过大，导致单表查询过慢。 假设有1万...
- 数据库分区、分表、分库，读写分离
单库单表是最常见的数据库设计，例如，有一张用户(user)表放在数据库db中，所有的用户都可以在db库中的user表中查到。 ②.单库多表 随着用户数量的增加，user表的数据量会越来越大，当数据量达到一定程度的时候对...
- 数据库的分表与分区
一、为什么要分表和分区？ 日常开发中我们经常会遇到大表的情况，所谓的大表是指存储了百万级乃至千万级条记录...分表和表分区的目的就是减少数据库的负担，提高数据库的效率，通常点来讲就是提高表的增删改查效率。
- mysql 分区表 分表结合_什么是分表和分区 MySql数据库分区和分表方法
分表和表分区的目的就是减少数据库的负担，提高数据库的效率，通常点来讲就是提高表的增删改查效率。2、什么是分表和分区2.1 分表分表是将一个大表按照一定的规则分解成多张具有独立存储空间的实体...
- 数据库分表分区++mysql_追求极致的数据库分区分表方案
但是不可避免的，在数据库出现瓶颈的情况还是有的，现在做互联网上的应用，当然也要未雨绸缪，要考虑数据量大的时候的解决方案。这个目前开源的商用的也都有不少解决方案，一来，做技术的都有这么个臭毛病，即使是...
- oracle 分表和分区哪个好_oracle 分表分区
oracle 分表分区一、 查询表所占存储空间每张表都是作为“段”来存储的，可以通过user_segments视图查看其相应信息。段(segments)的定义：如果创建一个堆组织表，则该表就是一个段。SELECT segment_name AS ...
- mysql分表和分区的区别浅析
主要介绍了mysql分表和分区的区别浅析,并对它们之间的相同做了分析,需要的朋友可以参考下
- 什么是分表和分区 MySql数据库分区和分表方法
主要为大家详细介绍了MySql数据库分区和分表方法，告诉大家什么是分表和分区，mysql分表和分区有什么联系，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
- 数据库分区分表和提升性能
序言 ...一直在做企业应用，目前要做一些...但是不可避免的，在数据库出现瓶颈的情况还是有的，现在做互联网上的应用，当然也要未雨绸缪，要考虑数据量大的时候的解决方案。 这个目前开源的商用的也都有不少解
- 数据库分区和分表的区别以及其作用
1.为何要分表分区 ...解决数据库瓶颈问题有很多个地方可以进行优化，本篇文章专门针对分区分表进行描述，如果有兴趣了解更多的解决数据库高并发问题的小伙伴可以看我博客的另一篇数据库高并发解决的博客...
- mysql分库分表分页查询语句_mysql 数据库 分表后 怎么进行分页查询？Mysql分库分表方案?...
如果只是为了分页，可以考虑这种分表，就是表的id是范围性的，且id是连续的，比如第一张表id是1到10万，第二张是10万到20万，这样分页应该没什么问题。2.如果是其他的分表方式，建议用sphinx先建索引，然后查询分页...
- oracle 分表和分区哪个好_不用Oracle？基于MySQL数据库下亿级数据的分库分表
作者：星期来源：https://www.cnblogs.com/jpfss/移动互联网时代，海量的用户数据每天都在产生，基于用户使用数据等这样的分析，都需要...确实，很多开发者写代码时并不会关心SQL的问题，凡是性能问题都交给DBA负...
- zabbix进行数据库备份以及表分区的方法
主要介绍了zabbix进行数据库备份以及表分区的方法,需要的朋友可以参考下