千万级数据，count统计如何优化？SQL出来的数据分页很快，加个总记录统计严重影响速度

wdx2008 2010-08-28 04:22:48

count(0),count(id),count(*)都试过了差别不大，另外id也有索引
SQL2005有什么新特性可以方便统计吗？

...全文

430 2 打赏收藏转发到动态举报

写回复

用AI写文章

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

cctsong 2010-08-28

打赏
举报

查询语句的关联是不是很多啊？

civilman 2010-08-28

打赏
举报

数据库的表里增加"统计信息".
你在企业管理器里把表打开,就能看到一项是"统计信息",依据自己的统计条件,建立统计信息,这样sql会自动统计的,有点类似于索引.

你可以用sql自带的数据库引擎优化顾问,让他自动优化索引和统计信息,很方便的.

在这个科技高速发展的时代，经历了PC时代几乎人手一台电脑，随之衍生出站长这个概念；移动互联网时代几乎人手一部智能手机，智能手机一般都会安装很多应用，目前应用呈爆发式的增长；随着产业的不断深入发展，小程序的发展也日益壮大，应用涵盖各个领域；如今一个公司就可能有多个软件应用，对于软件开发商来说，急需一套分析系统帮助软件运营，如果单独开发一个分析系统去针对一个软件进行分析的话，成本会非常的大，这个成本包含开发成本以及以后的维护成本。为了解决了上述的问题，我们开发出了一套云产品：亿级动态数据统计分析系统,本系统可以支持所有的终端（Web端、移动端、小程序端等）数据统计，只要简单的使用sdk就可以接入我们的系统，软件开发商可以很轻松的对软件使用的情况进行监控，及时辅助公司对该软件的运营。该产品历经2年的实践，商业价值极高。本套案例是完全基于真实的产品进行开发和讲解的，同时对架构进行全面的升级，采用了全新的 Flink 架构+Node.js+Vue.js等，完全符合目前企业级的使用标准。对于本套课程在企业级应用的问题，可以提供全面的指导。Flink作为第四代大数据计算引擎，越来越多的企业在往Flink转换。Flink在功能性、容错性、性能方面都远远超过其他计算框架，兼顾高吞吐和低延时。Flink能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。也就是说同时支持流处理和批处理。Flink将流处理和批处理统一起来，也就是说作为流处理看待时输入数据流是无界的；批处理被作为一种特殊的流处理，只是它的输入数据流被定义为有界的。Flink技术特点1. 流处理特性支持高吞吐、低延迟、高性能的流处理支持带有事件时间的窗口（Window）操作支持有状态计算的Exactly-once语义支持高度灵活的窗口（Window）操作，支持基于time、count、session，以及data-driven的窗口操作支持具有Backpressure功能的持续流模型支持基于轻量级分布式快照（Snapshot）实现的容错一个运行时同时支持Batch on Streaming处理和Streaming处理Flink在JVM内部实现了自己的内存管理支持迭代计算支持程序自动优化：避免特定情况下Shuffle、排序等昂贵操作，中间结果有必要进行缓存2. API支持对Streaming数据类应用，提供DataStream API对批处理类应用，提供DataSet API（支持Java/Scala）3. Libraries支持支持机器学习（FlinkML）支持图分析（Gelly）支持关系数据处理（Table）支持复杂事件处理（CEP）4. 整合支持支持Flink on YARN支持HDFS支持来自Kafka的输入数据支持Apache HBase支持Hadoop程序支持Tachyon支持ElasticSearch支持RabbitMQ支持Apache Storm支持S3支持XtreemFS课程所涵盖的知识点包括：Flink、 Node.js、 Vue.js、 Kafka、Flume、Spring、SpringMVC、Dubbo、HDFS、Hbase、Highcharts等等企业一线架构师讲授，代码在老师指导下可以复用，提供企业解决方案。版权归作者所有，盗版将进行法律维权。

当需要从数据库查询的表有上万条记录的时候，一次性查询所有结果会变得很慢，特别是随着数据量的增加特别明显，这时就需要使用分页查询。对于数据库分页查询，也有很多种方法和优化的点。谈优化前的准备工作为了...

优化项目代码过程中发现一个千万级数据深分页问题，缘由是这样的库里有一张耗材 MCS_PROD 表，通过同步外部数据中台多维度数据，在系统内部组装为单一耗材产品，最终同步到 ES 搜索引擎 MySQL 同步 ES 流程如下： ...

使用阿里云rds for MySQL数据库（就是MySQL5.6版本），有个用户上网记录表6个月的数据量近2000万，保留最近一年的数据量达到4000万，查询速度极慢，日常卡死。严重影响业务。问题前提：老系统，当时设计系统的人...

.NET社区

62,074

社区成员

669,028

社区内容

发帖

与我相关

我的任务

javascript云原生企业社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

.NET 社区是一个围绕开源 .NET 的开放、热情、创新、包容的技术社区。社区致力于为广大 .NET 爱好者提供一个良好的知识共享、协同互助的 .NET 技术交流环境。我们尊重不同意见，支持健康理性的辩论和互动，反对歧视和攻击。

希望和大家一起共同营造一个活跃、友好的社区氛围。

试试用AI创作助手写篇文章吧

+ 用AI写文章