社区
Oracle 高级技术
帖子详情
五千万的数据带条件查询总数较慢
自在*拂晓
2015-11-23 09:21:16
最近遇到一个数据库查询较慢的问题,就是一张历史表有 五千多万 条记录 ,前端可以带条件(至少带一个)分页查询历史记录,查的过程中 发现 查询总数时 很慢(远程数据库(江西南昌)查询要10多s), 对于查询的字段也有建 索引 ,效果还是不明显 ,在此请教各位大神,可有什么好的建议...
...全文
385
11
打赏
收藏
五千万的数据带条件查询总数较慢
最近遇到一个数据库查询较慢的问题,就是一张历史表有 五千多万 条记录 ,前端可以带条件(至少带一个)分页查询历史记录,查的过程中 发现 查询总数时 很慢(远程数据库(江西南昌)查询要10多s), 对于查询的字段也有建 索引 ,效果还是不明显 ,在此请教各位大神,可有什么好的建议...
复制链接
扫一扫
分享
举报
写回复
配置赞助广告
用AI写文章
11 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
铁铲
2016-03-13
打赏
举报
回复
解决没
lhdz_bj
2015-11-27
打赏
举报
回复
得看具体情况了,可能的话,发下计划吧。
铁铲
2015-11-26
打赏
举报
回复
分页查询的时候 展示的时候有条数限制 速度不是很慢。。。。。。。就是查询总数的慢
铁铲
2015-11-26
打赏
举报
回复
和 我遇到的问题一样 楼主解决了告诉我一声
beyon2008
2015-11-24
打赏
举报
回复
你这里涉及两个问题,一个是数据本身的查询效率,一个是远程数据库的网络延时, 第一个用执行计划可以看出问题,如果在服务器本机查询很快,那就是第二个问题了
卖水果的net
2015-11-23
打赏
举报
回复
可以查一下,是否有网络的延时、最终返回的数据量等等。
小灰狼W
2015-11-23
打赏
举报
回复
不要盲目分区 给出执行计划,找找慢的原因
自在*拂晓
2015-11-23
打赏
举报
回复
表格分区 我不会
陈灬风
2015-11-23
打赏
举报
回复
表格建立分区,估计会好点。
jdsnhan
2015-11-23
打赏
举报
回复
对啊。 比如说,你看tnsping 的延迟是多大,你去看单次查询的数据量返回多少,你去看执行计划里是否有大的cost
陈灬风
2015-11-23
打赏
举报
回复
方便的话,把查询语句和执行计划发出来,大家一起分析。
五千万
数据
索引
查询
同事在
查询
五千万
数据
的时候,通过建立unique索引将
查询
速度得到提高 可以看到速度还是比较快的,在0.03秒左右徘徊,是可以接受的
亿级
数据
多
条件
组合
查询
——秒级响应解决方案
概述 组合
查询
为多
条件
组合
查询
,在很多场景下都有使用。购物网站中通过勾选类别、价格、销售量范围等属性来对所有的商品进行筛选,筛选出满足客户需要的商品,这是一种典型的组合
查询
。在小
数据
量的情况下,后台通过简单的sql语句便能够快速过滤出需要的
数据
,但随着
数据
量的增加,继续使用sql语句,
查询
效率会直线下降。当
数据
量达到一定的量级,服务器将会不堪重负甚至面临挂掉的危险,并且大
数据
量的存储也成为了一个问...
用 Milvus 聚类压缩把
带
过滤
条件
的向量
查询
延迟砍到 1/25
线上有一套商品推荐系统,
查询
条件
里几乎都
带
`user_id` 过滤。集合刚上千万行时延迟还能看,涨到
五千万
后,同样的
查询
从 200ms 拖到 1.5s。索引、副本、硬件都动过了,唯独
数据
布局没动。后来在 Milvus 里开了聚类压缩,按 `user_id` 重排
数据
后,精确命中单个用户的
查询
延迟掉到 68ms 量级,存储占用也省了三成以上。 ## 聚类压缩到底改了什么 先看
数据
是怎么躺着的:
测试基数排序分别对四千万和
五千万
个
数据
进行排序所花费的时间
测试四千万: package com.itguigu.sort; import java.text.SimpleDateFormat; import java.util.Date; public class RadixSort { public static void main(String[] args) { int[] array = new int[400000...
MySQL
五千万
大表
查询
优化分析实战
对于一个SQL的优化我感触比较深的是:不能仅从SQL本身去进行优化,而需要结合具体的业务进行权衡从而选择一个合适的方案进行优化,目前项目也到高速上升期,出现了很多大表,未来系统将会有更多的问题,当然这即是问题也是挑战,加油!!!
Oracle 高级技术
3,499
社区成员
18,710
社区内容
发帖
与我相关
我的任务
Oracle 高级技术
Oracle 高级技术相关讨论专区
复制链接
扫一扫
分享
社区描述
Oracle 高级技术相关讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章