insert into table a select * from table b 大数据量怎么办

2010-08-01 10:50:06 3.5k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

huangdh12 墨衍会员 · AI 创作全网分发关注 + 加入社区

Doris专题15- 数据导入-insert into 直接插入具体数值：通过查询结果插入数据。阅读详情

insert into table a select * from table b ；
量表结构一样，b表大概2千万条，
这一次性插入大概要20分钟左右，同时这个事物也非常大。有没有办法让这语句每1万条提交一次？

...全文

SQL INSERT实战指南：从语法到高并发安全写入 INSERT是关系型数据库最基础的数据写入操作，其本质是应用与数据库之间的一次有状态数据契约交付。它不仅涉及SQL语法解析，更深层依赖事务机制、约束校验、索引维护与存储引擎行为。理解INSERT背后的7步执行流程（解析→权限→约束→触发器→写入→索引→提交），有助于规避90%的线上数据异常。在金融、电商、医疗等强一致性场景中，INSERT的性能与安全性直接受批处理策略、工具链选择（如SqlBulkCopy优于SSMS单条执行）、自增主键管控（AUTO_INCREMENT/IDENTITY）及跨表复制逻辑（I 阅读详情

huangdh12

基础和管理 17,377 成员 95,111 内容

+ 关注 + 加入社区

切换为时间正序

minitoy 2010-08-02

打赏
举报

hints append，直接使用hwm以上的数据块，以提高处理效率。
parallel并行，
nologging不记日志

huangdh12 2010-08-02

打赏
举报

[Quote=引用 7 楼 wkc168 的回复:]

引用楼主 huangdh12 的回复:
insert into table a select * from table b ；
量表结构一样，b表大概2千万条，
这一次性插入大概要20分钟左右，同时这个事物也非常大。有没有办法让这语句每1万条提交一次？

SQL code

insert /*+append*/ into a select * from b
[/Quote]

这句没看懂

minitoy 2010-08-02

打赏
举报

parallel，append，nologging都加上

心中的彩虹 2010-08-02

打赏
举报

[Quote=引用楼主 huangdh12 的回复:]
insert into table a select * from table b ；
量表结构一样，b表大概2千万条，
这一次性插入大概要20分钟左右，同时这个事物也非常大。有没有办法让这语句每1万条提交一次？
[/Quote]



insert /*+append*/ into a  select * from b

shjp123 2010-08-02

打赏
举报

parallel，append，nologging都加上.再加上分区试一下。

心中的彩虹 2010-08-02

打赏
举报

[Quote=引用 7 楼 wkc168 的回复:]
引用楼主 huangdh12 的回复:
insert into table a select * from table b ；
量表结构一样，b表大概2千万条，
这一次性插入大概要20分钟左右，同时这个事物也非常大。有没有办法让这语句每1万条提交一次？

SQL code

insert /*+append*/ into a select * from b
[/Quote]
忘了弄完就的commit

lzbbob1985 2010-08-01

打赏
举报

那把并行和 append 加上看看

huangdh12 2010-08-01

打赏
举报

没有分区。。。
你下面写的语句是根据分区来的吗？
我的处理方式是用查询条件将表分成了129个表，然后挨个insert into table as select * from b_i;
方法虽然笨了点，好歹可行。。：）

orbcle 2010-08-01

打赏
举报

create or replace procedure bulk_insert(in_bulk_count integer)
is
cursor cur is select * from b;
type tbl_b is table of b%rowtype index by pls_integer;
v_tbl_b tbl_b;
begin
open cur;
loop
<<bulk_insert>>
exit when cur%notfound;
fetch cur bulk collect into v_tbl_b limit in_bulk_count;
forall i in indices of v_tbl_b save exceptions
insert /*+append*/ into a values v_tbl_b(i);
commit;
exception
when others then
null;
end loop bulk_insert;
close cur;
end;

lzbbob1985 2010-08-01

打赏
举报

b 表有分区吗？
有分区的话用分区

可以添加并行处理

insert into table a

select /*+parallel(b,6)*/
/*+append*/
*
from table partition(part....) b ； --parallel(b,6) 后面的 6为并行处理的数量通常和CPU 数量相同

huangdh12 2010-08-01

打赏
举报

plsql 那不是要循环 2千万次？那不废了？

根据条件倒是也可以。。只是我想有没有什么设置，不用去写plsql语句了。

lacus87 2010-08-01

打赏
举报

PL_SQL做吧，SQL语言貌似不行。。。

insert into table a select * from table b 大数据量怎么办

相关推荐