社区
MS-SQL Server
帖子详情
大数据量数据的表间比对,怎样才能效率最高?
yk1122
2003-09-14 05:35:38
存在两个结构相同的表A,B,现想将A中存在而B中不存在的数据导入B中,两个表的数据量均相当大,若用INSERT 。。。SELECT 。。FROM 。。WHERE。。语句则会出现缓存不足的问题,而且效率不高,有更好的办法吗?
表结构:
列1 ,列2, 列3,列4
列1、2、3相结合可确定唯一一条记录,而大量的数据存放于列4中。
请高手赐教!!
...全文
205
6
打赏
收藏
大数据量数据的表间比对,怎样才能效率最高?
存在两个结构相同的表A,B,现想将A中存在而B中不存在的数据导入B中,两个表的数据量均相当大,若用INSERT 。。。SELECT 。。FROM 。。WHERE。。语句则会出现缓存不足的问题,而且效率不高,有更好的办法吗? 表结构: 列1 ,列2, 列3,列4 列1、2、3相结合可确定唯一一条记录,而大量的数据存放于列4中。 请高手赐教!!
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
yk1122
2003-09-16
打赏
举报
回复
真的没有直接的方法了吗?
smallroad
2003-09-14
打赏
举报
回复
用bcp "select ..." query out (不一样的)
再bcp in b表
yk1122
2003-09-14
打赏
举报
回复
索引已经建立了,但导出.TXT 5G的数据量来说是不是太大了?还会有别的原因吗?
yujohny
2003-09-14
打赏
举报
回复
你建立好索引,应该没什么问题吧
yk1122
2003-09-14
打赏
举报
回复
我也是这样用的但只能适用于数据量比较小的情况,如果数据量太大就不行了!!
yujohny
2003-09-14
打赏
举报
回复
我用的语句是
INSERT INTO B(列1,列2,列3,列4)
select 列1,列2,列3,列4 from A left join B
ON A.列1 = B.列1 AND A.列2= B.列2 AND A.列3 = B.列3
WHERE B.列1 is null
MySQL 批
量
操作,一次插入多少行
数据
效率
最高
?
我们在操作大型
数据
表或者日志文件的时候经常会需要写入
数据
到
数据
库,那么最合适的方案就是
数据
库的批
量
插入。只是我们在执行批
量
操作的时候,一次插入多少
数据
才合适呢?假如需要插入的
数据
有百万条,那么一次批
量
插入多少条的时候,
效率
会高一些呢?这里博主和大家一起探讨下这个问题,应用环境为批
量
插入
数据
到临时表。博主经过测试+谷歌,最终是选用的一次批
量
插入
数据
量
为max_allowed_packet大小的一半。https。...
mysql批
量
插入
数据
,一次插入多少行
数据
效率
最高
?
文章目录一、前言二、批
量
插入前准备1、插入到
数据
表的字段2、计算一行字段占用的空间3、在
数据
里做插入操作的时候,整体时间的分配三、批
量
插入
数据
测试1、SQL语句的大小限制2、查看服务器上的参数:3、计算一次能插入的最大行记录4、测试插入
数据
比对
(1)插入11W条
数据
,按照每次10,600,1000,20000,80000来测试:(2)加
大
数据
量
到24w(3)加大测试
量
到42W5、如果插入的值就是s...
大
数据
量
下的
数据
库查询与插入如何优化? (整理)
数据
库经常要做一些查询与插入,但是如果查询和插入的
数据
量
过大的时候就会引发
数据
库性能问题,降低
数据
库工作
效率
。因此性能调优是大家在工作中都能够预见的问题,大到世界五百强的核心系统,小到超市的库存系统,几乎都会有要调优的时候。面对形形色色的系统,林林总总的需求,调优的手段也是丰富多彩。 1.尽
量
使语句符合查询优化器的规则避免全表扫描而使用索引查询 2.避免频繁创建和删除临时表,以减少系统表资源的...
MySQL 批
量
插入
数据
,一次插入多少行
数据
效率
最高
?
一、前言 我们在操作大型
数据
表或者日志文件的时候经常会需要写入
数据
到
数据
库,那么最合适的方案就是
数据
库的批
量
插入。只是我们在执行批
量
操作的时候,一次插入多少
数据
才合适呢?假如需要插入的
数据
有百万条,那么一次批
量
插入多少条的时候,
效率
会高一些呢?这里博主和大家一起探讨下这个问题,应用环境为批
量
插入
数据
到临时表。二、批
量
插入前准备 博主本地原本是循环查出来的
数据
,然后每100...
MySQL 批
量
插入
数据
,单次插入多少条
数据
效率
最高
文章目录一、前言二、批
量
插入前准备1、插入到
数据
表的字段2、计算一行字段占用的空间3、在
数据
里做插入操作的时候,整体时间的分配三、批
量
插入
数据
测试1、SQL语句的大小限制2、查看服务器上的参数:3、计算一次能插入的最大行记录4、测试插入
数据
比对
(1)插入11W条
数据
,按照每次10,600,1000,20000,80000来测试:(2)加
大
数据
量
到24w(3)加大测试
量
到42W5、如果插入的值就是s...
MS-SQL Server
34,838
社区成员
254,632
社区内容
发帖
与我相关
我的任务
MS-SQL Server
MS-SQL Server相关内容讨论专区
复制链接
扫一扫
分享
社区描述
MS-SQL Server相关内容讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章