有两个百万级的大表a,b，现在需要关联两个表查询是否存在满足条件的记录，我的sql如下：
select count(a.id) from a,b where a.id=b.id and ...
当满足查询条件的记录很多时，查询效率非常低下，常常需要几十甚至100多秒，请教各位大侠有没有解决此效率问题的好方法
-
有两个百万级的大表a,b，现在需要关联两个表查询是否存在满足条件的记录，我的sql如下：
select count(a.id) from a,b where a.id=b.id and ...
当满足查询条件的记录很多时，查询效率非常低下，常常需要几十甚至100多秒，请教各位大侠有没有解决此效率问题的好方法
展开阅读全文
-
等级
本版专家分：5232 -
关键在于你的过滤条件
-
等级
本版专家分：66勋章
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
-
我的过滤条件很简单，关键是满足过滤条件的记录数很多
-
等级
本版专家分：8
-
根据你的过滤条件加适当的索引
-
等级
本版专家分：66勋章
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
-
索引加了，但是如果有太多记录（比如几十万条记录）满足过滤条件时，走索引甚至比全表扫描还要慢
-
等级
本版专家分：66勋章
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
-
能否不用count()函数而是用其他方法呢？
-
等级
本版专家分：5232
-
你的过滤条件很简单，当然会导致很多记录被select，当然会走全表扫描。关键在于如何限制你返回的记录数，增加适当的索引即可。
-
等级
本版专家分：646 -
走索引不会比全表扫描还慢的.
可能你索引建得不好吧.
WHERE条件后的字段基本上都要建索引.
而且如果是建组合索引的话
出现WHERE条件后的第一个字段必须是组合索引的第一项.
这样索引才能起到作用.
像你这种情况,除了建索引,好像没有其它什么改进的方法.
期待其它朋友有好的见解.
-
等级
本版专家分：51
-
把索引建在a.id和b.id上，
这样建不可能比不建慢的，
试试看，
-
等级
本版专家分：2776 -
看看执行计划，是否用到索引。
虽然你加了索引，但是oracle不一定会使用到，需要强制使用。
如果得到的结果数据量很大时，试着加 all_rows 提示。
如果表分布在多个磁盘空间，可以试试加 parallel 提示
如果你的内存够大的话，可以用 cash 提示 把表全load到内存中操作。
其实我觉得你的时间还算是比较正常的。
-
等级
本版专家分：19533勋章
-
-
蓝花
2008年9月 Oracle大版内专家分月排行榜第三
2008年8月 Oracle大版内专家分月排行榜第三
-
-
这么多记录，能不能考虑分区？
- 关于表用多字段还是联合查询的问题
我想请教大家一个问题，我们现在设计了一个批量处理的系统，其中涉及到表，有两类，一类是静态的属性配置表，一类是批的流水表。 现在我们的做法是，批...如果改成每次都联合查询，效率上有没有什么区别？求教了，谢谢
- mysql查询优化，加上limit 关键字速度快了很多
一个多表关联的sql，能够返回140条数据，不加 limit 耗时10秒钟，加上limit 100仅 耗时 0.5秒，sql有Order by,如果有排序不应该查出全部数据后才执行limit吗，求教大神原理。sql如下 SELECT sale.id, sale....
- 关于mybatis中collection一对多关联查询分页出错问题总结 – baidu_38116275的博客 – CSDN博客...
文章目录[隐藏]关于mybatis中collection一对多关联查询分页出错问题总结 首页博客学院 下载论坛APP 问答商城活动VIP会员专题招聘ITeyeGitChat 图文课 写博客 消息 原 关于mybatis中collection一对多关联查询分页出错...
- hibernate 查询HQL小结 +DAO层参数绑定(即?写法) + 分页查询
一.回顾基本的SQL查询 select/update/delect ... from ... where ...group by... having ...order by... asc/desc insert into ... value ... update ...... 1.单表查询 select * from xx;...多表查询 A a1,a2 B
- 数据库mysql之慢查询优化
今天项目遇到一个问题：就是在公司test环境中执行sql查询语句很快，也就几百毫秒，但是放到sit环境中测试就要延迟至少1分钟左右。 网上找了很多原因，大多数都是说索引问题，我看了索引没问题，又重新建立索引散列...
- c语言 结构与联合
例如， 在学生登记表中，姓名应为字符型；学号可为整型或字符型； 年龄应为整型；性别应为字符型；成绩可为整型或实型。 显然不能用一个数组来存放这一组数据。 因为数组中各元素的类型和长度都必须一致，以便于编译...
- 关于linux交换分区大小的问题
[精华] 关于linux交换分区大小的问题 http://www.chinaunix.net 作者:wangrujun发表于：2008-08-04 17:44:50 【发表评论】【查看原文】【Linux讨论区】【关闭】 我在debian和fedora的文档...
- 【CAD技巧】120个常见CAD问题解决办法
1.【CTrl+N无效时之解决办法】众所周知CTRL+N是新建命令但有时候CTRL+N则出现选择面板这时只需到OP选项里调下设置操作：OP（选项）------系统-------...
- JAVA人力、项目面试常谈问题以及个人开场介绍模板
JAVA 人力面试常谈问题 汇总（98个） 1. 请你自我介绍一下 回答提示：一般人回答这个问题过于平常，只说姓名、年龄、爱好、工作经验，这些在简历上都有，其实，企业最希望知道的是求职者能否胜任工作，包括：最强的...
- Xorg的一些问题和随想
1:单进程的设计类似于以前的游戏，就是一个大循环while(1)然后再进行处理。这里面每个操作都不能阻塞否则就会导致xorg挂起没有反应。缺陷主要表现在,每个模块都必须是完全可靠的，所有的驱动，从kernel到上层输入...
- 新手该如何学习区块链的
一、问题导读 1.什么是区块链？ 2.区块链1.0、区块链2.0、区块链3.0有什么区别？ 3.什么是公有链？联盟链？私有链？ 4.什么是分叉？硬分叉和软分叉有什么区别？ 5.什么是隔离见证？闪电网络？雷电网络？ 6.比特币的...
- 一大波学习内容！
Dubbo-大波-服务化框架 dubbo_百度搜索Dubbo与Zookeeper、SpringMVC整合和使用（负载均衡、容错） - 好库文摘User Guide-zh - Dubbo - Alibaba Open SesameUser Guide-zh - Dubbo - Alibaba Open Sesame简单之美 | ...
- C语言字节对齐问题
一、概念 对齐跟数据在内存中的位置有关。如果一个变量的内存地址正好位于它长度的整数倍，他就被称做自然对齐。比如在32位cpu下，假设一个整型变量的地址为0x00000004，那它就是自然对齐的。...
- (转)大小端和存储器对齐
我们常常看到“alignment"， "endian"之类的字眼， 但很少有C语言教材提到这些概念。 实际上它们是与处理器与内存接口， 编译器类型密切相关的。考虑这样一个例子: 两个异构的CPU进行通信， 定义了这样一个结果来...
- x64环境下CodeBlocks编译动态链接库的问题
Linux上的CodeBlocks编译动态链接库文件时，如果提示这个错误： /usr/bin/ld: ojb/Debug/main.o: relocation R_x86_64_32 against '__gxx_personality_v0'cannot be used when making a shared object;...
- 前端web应用组件化（一） 徐飞
Web应用的组件化（一） 基本思路 1. 为什么要做组件化？...绝大多数软件产品是追逐利润的，在产品目标确定的情况下，成本有两个途径来优化：减少部署成本，提高开发效率。 减少部署成本的方面，业界研究得...
- c\c++ 笔试面试大汇总
C/C++ 笔试、面试题目大汇总 <div class="postText"> <div id="cnblogs_post_body" class="blogpost-body"><p style="text-align: left;">这些东西有点烦，有点无聊。如果要去C++...
- 十道海量数据处理面试题与十个方法大总结
第一部分、十道海量数据处理面试题 1、海量日志数据，提取出某日访问百度次数... 再详细介绍下此方案：首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^3
- 一个复杂的nf_conntrack实例全景解析
近期搜集了一些关于iptables，NAT相关的问题，其中最令人觉得麻烦的还是nf_conntrack相关的东西，比如它和NAT的关系，它和state match的关系，它的Helper机制怎么使用等等。 因此决定写一篇随笔来一个情景分析，...
- 如何更好的学习和思考
人的一生，其实是持续学习和不断思考的一生。学就是学前人的经验和总结的规律，习就是练习、行动和实践，组合在一起这就是学习。俗话说，失败是成功之母，我们要向失败者学习，要向真正的原因学习，要向真正的经验...
- 性能江湖中的那些问题（持续更新 8.3）
问题1：执行一段时间，vuser全部加载后，CPU突然很高，导致响应时间超长 可能原因：F5负载均衡失效，导致某台电脑CPU过高，同时另外一台CPU过低。另外，也有可能是由于算法的因素引起的。 深入排查：1....
- 我想在网上办一个“图形-动画-游戏”大学
首页|资讯|移动|云计算|空间|论坛|博客|下载|网摘|程序员|书店|乐知教育 欢迎您：游客|登录注册|帮助 CSDN-CSDN社区-专题开发/技术/项目-图形图像/机器视觉 管理菜单 ...显示得分
- 使用mono-repo实现跨项目组件共享
本文会分享一个我在实际工作中遇到的案例，从最开始的需求分析到项目搭建，以及最后落地的架构的整个过程。最终实现的效果是使用mono-repo实现了跨项目的组件共享。在本文中你可以看到： 从接到需求到深入分析并...
- 抢茅台脚本以及使用方法
抢茅台的方法，里面有脚本文件和python的安装包，小白可以学习使用，大佬绕行吧，哈哈
- MATLAB基础入门课程
MATLAB基础入门课程，系统介绍MATLAB的基础知识。
主要从数组、运算、结构和绘图等几方面进行讲解
简单易懂，轻松入门MATLAB