大数据量数据的表间比对，怎样才能效率最高？ [问题点数：0分]
-
本版专家分：0结帖率 100% -
回复次数6楼主存在两个结构相同的表A，B，现想将A中存在而B中不存在的数据导入B中，两个表的数据量均相当大，若用INSERT 。。。SELECT 。。FROM 。。WHERE。。语句则会出现缓存不足的问题，而且效率不高，有更好的办法吗？
表结构：
列1 ，列2， 列3，列4
列1、2、3相结合可确定唯一一条记录，而大量的数据存放于列4中。
请高手赐教！！
问题点数：0分
-
本版专家分：13466 -
#1 得分：0我用的语句是
INSERT INTO B(列1,列2,列3,列4)
select 列1,列2,列3,列4 from A left join B
ON A.列1 = B.列1 AND A.列2= B.列2 AND A.列3 = B.列3
WHERE B.列1 is null
-
本版专家分：0
-
#2 得分：0我也是这样用的但只能适用于数据量比较小的情况，如果数据量太大就不行了！！
-
本版专家分：13466
-
#3 得分：0你建立好索引，应该没什么问题吧
-
本版专家分：0
-
#4 得分：0索引已经建立了，但导出.TXT 5G的数据量来说是不是太大了？还会有别的原因吗？
-
本版专家分：267 -
#5 得分：0用bcp "select ..." query out (不一样的)
再bcp in b表
-
本版专家分：0
-
#6 得分：0真的没有直接的方法了吗？
- 其他相关推荐
- 数据插入 效率比较 mysql
- 做数据插入时，发现之前上班做哪些办公系统压根就没考虑过数据库性能这些，因为涉及的数据量小，时间和效率看不出来，可当数据量很大了，大到了每秒需要10000次插入时，这时就不得不考虑你的sql 语句了。当插入100条数据，能想到的数据插入方式： 1：for循环100次，一次次插入数据。连接一次插入100次，这样是最费时间的也是最费IO和连接的； 2：将100数据插入语句组成一个sql语句，然后连接
- DB2超过20亿大数据量查询
- DB2数据量超过20亿条记录数，用count函数是查不出来表中的记录数的。 查询超过20一条记录，需要用count_big函数去查询。 COUNT_BIG 返回组中项目的数量。COUNT_BIG 的使用与 COUNT 函数相似。它们之间的唯一差别是它们的返回值：COUNT_BIG 总是返回 bigint 数据类型值，而 COUNT 则总是返回 int 数据类型值。 select
- MYSQL大数据删除
- 由于公司需要删除一年前的数据。所以参考了部分资料，整理了删除部分大数据的较合理方法。 1选择不需要删除的数据，并把它们存在一张相同结构的空表里INSERT INTO t_copy SELECT * FROM t WHERE ... ; //把要删除大量数据的表中不需要删除的数据转存到另外一张表中2重命名原始表，并给新表命名为原始表的原始表名RENAME TABLE t TO t_ol...
- POI3.8中 大数据量的excel表格处理
- POI之前的版本不支持大数据量处理，如果数据过多则经常报OOM错误，有时候调整JVM大小效果也不是太好。3.8版本的POI新出来了SXSSFWorkbook,可以支持大数据量的操作。 3.8版本的POI对excel的导出操作，一般只使用HSSFWorkbook以及SXSSFWorkbook，HSSFWorkbook用来处理较少的数据量，SXSSFWorkbook用来处理大数据量以及超大数据量的导
- 数据库大数据量去重实现方式
- 前提：表a 字段 id、a1、a2（可以有多个字段，在此为方便只列出3个字段，其中id是主键，因此在一个表中是唯一的）方式一： delete from a where a.id not in(select max(id) from a group by a1,a2);说明：数据量很大时候，执行非常慢。大数据量的时候，delete执行效率本身就很低，再加上分组查询。建议设计数据表的时候应该考虑用ha...
- MySql 大数据量快速插入和语句优化
- INSERT语句的速度 插入一个记录需要的时间由下列因素组成，其中的数字表示大约比例： 连接：(3) 发送查询给服务器：(2) 分析查询：(2) 插入记录：（1x记录大小） 插入索引：（1x索引） 关闭：(1) 这不考虑打开表的初始开销，每个并发运行的
- Django 数据层性能优化
- Django数据层提供各种途径优化数据的访问，一个项目大量优化工作一般是放在后期来做，早期的优化是“万恶之源”，这是前人总结的经验，不无道理。如果事先理解Django的优化技巧，开发过程中稍稍留意，后期会省不少的工作量。 一 利用标准数据库优化技术： 传统数据库优化技术博大精深，不同的数据库有不同的优化技巧，但重心还是有规则的。在这里算是题外话，挑两点通用的说说： 索引，给关键的
- Oracle大数据量更新方法
- 实际工作中我们有时会遇到，需要对一些超级大（BT）的表进行数据更新（更悲剧的是有时需要关联更新，就是依据一张大表的数据来更新另一张表的数据）我们通常的更新方法可能在性能效率上遭遇瓶颈，下面就笔者遇到的一个案列进行记录分享。 首先我们来看下需求： 一张玩家首登表：account_first_login（此表中有account,login_date,login_region字段）一张玩
- Oracle insert大数据量经验之谈
- 在很多时候，我们会需要对一个表进行插入大量的数据，并且希望在尽可能短的时间内完成该工作，这里，和大家分享下我平时在做大量数据insert的一些经验。 前提：在做insert数据之前，如果是非生产环境，请将表的索引和约束去掉，待insert完成后再建索引和约束。 1. insert into tab1 select * from tab2; co
- java list大数据量用addAll
- 问题是这样产生的，网上一哥们发了一个面试题： ListA 里面有 1 2 3 ListB里面有 4 5 6 让ListA变成 1 2 3 4 5 6 我觉得很简单 ，就说用for循环遍历 添加就好了。结果面试官说 答案是使用addAll方法，因为这样效率高： 我表示很费解，于是查阅了资料。 得出以下结