大量数据插入性能问题

[erbiezi0000]

请教各位大侠，现在我想从生产环境导一个表的数据到开发环境，这个表的数据大概有1千万条，我在开发环境建立了dblink到生产环境，我想比较一下以下哪有方法速度会比较快呢？(已知开发环境为非归档模式)

1. insert /*+append nologging*/ into xxx select * from xxx@AAA;
2. insert /*+append */ into xxx nologging select * from xxx@AAA;
3. 先建临时表 create table tmp_xxx as select * from xxx@AAA;
然后插数据 insert/*+ append */into xxx select * from tmp_xxx;

[海诗美妆]

[Quote=引用楼主 erbiezi0000 的帖子:]
请教各位大侠，现在我想从生产环境导一个表的数据到开发环境，这个表的数据大概有1千万条，我在开发环境建立了dblink到生产环境，我想比较一下以下哪有方法速度会比较快呢？(已知开发环境为非归档模式)

1. insert /*+append nologging*/ into xxx select * from xxx@AAA;
2. insert /*+append */ into xxx nologging select * from xxx@AAA;
3. 先建临时表 create table tmp_xxx as select * from xxx@AAA;
然后插数据 ins…
[/Quote]
第一个就行。


好用就可以，从生产环境向开发环境导入数据，而且只有一万条，
不需要考虑太多性能问题。
前提是好用！

[erbiezi0000]

楼上的看错了吧，是一千万条，呵呵

[ai_li7758521]

关注

[lylm]

试试sqlldr怎样

[谈祥庆]

目前主流的数据库产品都提供了导入导出大数据量的工具，不知道你使用的是什么数据库，以我使用的DB2为例：
可以先导出数据到文件:EXPORT TO '/home/ripa/basedata/SHOP_ALL.DEL' OF DEL SELECT DISTINCT MS.SHOP_SYS_NO ,MS.SHOP_NAME ,MS.SHOP_SHORT_NAME ,MS.SHOP_ALIAS,MS.STATUS,MS.SHOP_MCC_CODE ,CAST(NULL AS CHAR(1)) ,MS.SHOP_CHAIN_TYPE ,MS.SHOP_CHAIN_AREA,MS.SHOP_ADDR ,MS.SHOP_POST ,MS.SHOP_TEL_NO ,MS.SHOP_FAX_NO ,MS.SHOP_AREA ,MS.SHOP_LEVEL FROM M_SHOP MS;

然后将数据文件导入到目标表中：LOAD FROM '/home/ripa/basedata/SHOP_ALL.DEL' OF DEL MODIFIED BY FASTPARSE SAVECOUNT 50 MESSAGES 'load.msg' INSERT INTO T01_MERCHANT DATA BUFFER 200 ALLOW NO ACCESS;

你可以查询一下你使用的数据库提供了什么命令。

1千万数据量不算很大，我曾将16G（1亿条以上）的一个数据文件通过import导入到sybaseIQ中，只用了10多分钟

[dongxyang]

首选sqlldr喽

[tibetjungle]

当让是不用日志方式更快。

另外，lz不妨试一试Oracle的copy to( from )，效率会更好。拷贝数据过程中，如果有逻辑处理，用dblink合适，但没有逻辑时，copy to( from )的效率会更高。

[Jinxp]

可以考虑EXP IMP的方式

[bobantang18]

1千万数据量不大

[edwin_cs]

关注中。学习

[猫熊工作室]

读写分离吧

[xiaozhangnima]

学习

[yaray]

导出+导入

[lgh1117]

关注中