社区
MS-SQL Server
帖子详情
大数据量数据的表间比对,怎样才能效率最高?
yk1122
2003-09-14 05:35:38
存在两个结构相同的表A,B,现想将A中存在而B中不存在的数据导入B中,两个表的数据量均相当大,若用INSERT 。。。SELECT 。。FROM 。。WHERE。。语句则会出现缓存不足的问题,而且效率不高,有更好的办法吗?
表结构:
列1 ,列2, 列3,列4
列1、2、3相结合可确定唯一一条记录,而大量的数据存放于列4中。
请高手赐教!!
...全文
234
6
打赏
收藏
大数据量数据的表间比对,怎样才能效率最高?
存在两个结构相同的表A,B,现想将A中存在而B中不存在的数据导入B中,两个表的数据量均相当大,若用INSERT 。。。SELECT 。。FROM 。。WHERE。。语句则会出现缓存不足的问题,而且效率不高,有更好的办法吗? 表结构: 列1 ,列2, 列3,列4 列1、2、3相结合可确定唯一一条记录,而大量的数据存放于列4中。 请高手赐教!!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
yk1122
2003-09-16
打赏
举报
回复
真的没有直接的方法了吗?
smallroad
2003-09-14
打赏
举报
回复
用bcp "select ..." query out (不一样的)
再bcp in b表
yk1122
2003-09-14
打赏
举报
回复
索引已经建立了,但导出.TXT 5G的数据量来说是不是太大了?还会有别的原因吗?
yujohny
2003-09-14
打赏
举报
回复
你建立好索引,应该没什么问题吧
yk1122
2003-09-14
打赏
举报
回复
我也是这样用的但只能适用于数据量比较小的情况,如果数据量太大就不行了!!
yujohny
2003-09-14
打赏
举报
回复
我用的语句是
INSERT INTO B(列1,列2,列3,列4)
select 列1,列2,列3,列4 from A left join B
ON A.列1 = B.列1 AND A.列2= B.列2 AND A.列3 = B.列3
WHERE B.列1 is null
大
数据
量
分页存储过程
效率
测试附代码
本文通过实测对比五种存储过程分页算法在
大
数据
量
下的
效率
,包括利用select top和select not in、select max、中间变
量
、Row_number及临时表的方法。测试结果显示,使用2分法的select max方法
效率
最高
且更稳定。
基于hive的
大
数据
量
的优化处理实例
本文探讨了在处理
大
数据
量
时遇到的挑战,涉及800亿和7亿条记录的Hive表关联问题。提出了三种优化方案:
数据
拆分、高粒度汇总和用户维度数组存储。方案一通过分区和多任务并行提高
效率
,适合数仓建设;方案二减少维度以提升性能,但可能影响
数据
详细度;方案三以用户维度汇总,简化
数据
但不利于后续需求。选择方案需结合实际需求和数仓规划。
如何导入导出
大
数据
量
(1000万条)的表?
本文介绍了一种高效迁移
大
数据
量
表的方法,避免了使用DELETE命令导致的问题,并通过先删除索引、使用TRUNCATE清空表、再导入
数据
及最后重建索引的方式显著提升了
数据
迁移
效率
。
如何 提高企业网站
大
数据
量
效率
本文探讨了企业网站在处理
大
数据
量
查询时的系统架构设计、查询框架设计与
数据
库连接池技术,旨在提高查询
效率
。
SqlServer存储过程分页:
大
数据
量
分页存储过程
效率
测试附代码
本文通过实验对比了五种常见的
数据
库分页算法,并分析了它们在不同
数据
量
下的性能表现。测试结果显示,在
大
数据
量
环境下,利用selectmax的方法
效率
最高
。
MS-SQL Server
34,875
社区成员
254,639
社区内容
发帖
与我相关
我的任务
MS-SQL Server
MS-SQL Server相关内容讨论专区
复制链接
扫一扫
分享
社区描述
MS-SQL Server相关内容讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章