从 Sql2000 导2千万数据 到Oracle 11g，有什么快速的方法吗

[MarkIII]

我用Sql 的导出，1小时才导了30W条，太慢。

求各位大侠指点。

[tangren]

1、使用DTS
2、从sql使用dblink连接oracle
3、在oracle侧使用透明网关

[iqlife]

oracle 这边表NOLOGGING,APPEND
加快速度，批量插入，
平面文件加载，SQL*LOAD,

[火狐狸]

挑战极限 Oracle数据库一秒导百万数据


方法一.使用基本的Insert 语句

　　这种方法是最基本的方法，大多数人一开始都会想到这种方法。但是Insert语句似乎并不适合大批量的操作，是不是这样呢?

　　本方法中将100万数据分为10个批次，每个批次10万条，每10万条1个事务，分10次导入数据库。

　　基本语句:Insert Into TableB (Value1) values (‘”+i+”’);

　　说明：语句中的i是宿主程序中的一个累加变量，用于填充数据库字段中的值。

　　SQL 2000 耗时：901599

　　SQL 2008耗时：497638

　　方法二.使用BULK INSERT语句

　　这个类的效果，在本实验中可以说是最令人满意的了，它的使用最简便、灵活，速度很快。

　　“BULK INSERT”语句似乎不是很常用， Aicken听说Oracle中有一种可以将外部文件映射为Oracle临时表，然后直接将临时表中的数据导入Oracle其他表中的方法，这种方法的速度非常令人满意，SQL SERVER的BULK INSERT是不是同样令人满意呢?

　　基本语句：BULK INSERT TableB FROM 'c:\\sql.txt' WITH (FIELDTERMINATOR = ',',ROWTER /.,mbMINATOR='|',BATCHSIZE = 100000)

　　说明：“c:\\sql.txt”是一个预先生成的包含100条数据的文件，这些数据以“|”符号分隔，每10万条数据一个事务。

　　SQL 2000耗时：4009

　　SQL 2008耗时：10722

　　方法三.在多线程中使用BULK INSERT

　　在方法二的基础上，将100万条数据分五个线程，每个线程负责20万条数据，每5万条一个事物，五个线程同时启动，看看这样的效果吧。

　　SQL 2000耗时：21099

　　SQL 2008耗时：10997

　　方法四.使用SqlBulkCopy类

　　这种方法速度也很快，但是要依赖内存，对于几千万条、多字段的复杂数据，可能在内存方面会有较大的消耗，不过可以使用64位解决方案处理这个问题。

　　几千万条、多字段的数据的情况一般在一些业务场景中会遇到，比如计算全球消费者某个业务周期消费额时，要先获得主数据库表中的会员消费记录快照，并将快照储存至临时表中，然后供计算程序使用这些数据。并且有些时候消费者的消费数据并不在一台数据库服务器中，而是来自多个国家的多台服务器，这样我们就必须借助内存或外存设备中转这些数据，然后清洗、合并、检测，最后导入专用表供计算程序使用。

　　基本语句：

using (System.Data.SqlClient.SqlBulkCopy sqlBC = new System.Data.SqlClient.SqlBulkCopy(conn))
{ sqlBC.BatchSize = 100000;
sqlBC.BulkCopyTimeout = 60;
sqlBC.DestinationTableName = "dbo.TableB";
sqlBC.ColumnMappings.Add("valueA", "Value1");
sqlBC.WriteToServer(dt);
}
　　说明：

　　BatchSize = 100000; 指示每10万条一个事务并提交

　　BulkCopyTimeout = 60; 指示60秒按超时处理

　　DestinationTableName = "dbo.TableB"; 指示将数据导入TableB表

　　ColumnMappings.Add("valueA", "Value1"); 指示将内存中valueA字段与TableB中的Value1字段匹配

　　WriteToServer(dt);写入数据库。其中dt是预先构建好的DataTable，其中包含valueA字段。

　　SQL 2000耗时：4989

　　SQL 2008耗时：10412

　　方法五.在多线程中使用SqlBulkCopy类

　　基于方法四，将100万条数据分五个线程，每个线程负责20万条数据，每5万条一个事物，五个线程同时启动，看看这样的效果吧。

　　SQL 2000耗时：7682

　　SQL 2008耗时：10870

[zh_666]

这个可以用oracle goldengate 可以实现 而且速度非常快 。goldengate支持异构数据库，亚秒的实时复制

[hanks_gao]

Mark!

[路人甲cw]

学习一下,以后可能会用到

[DBAFAN]

学习中，以后能用到

[gao_fox]

学习一下，找个机器测一下。

[路人呵呵]

这么高深

[tlx20093A]

在oracle使用透明网关

[秋雨飘落]

[Quote=引用 4 楼 zh_666 的回复:]
这个可以用oracle goldengate 可以实现 而且速度非常快 。goldengate支持异构数据库，亚秒的实时复制
[/Quote]

GOLDGATE安装配置不都适合，

建议使用KETTLE，绿色，免安装，速度快。。。。

[阿富888]

学习一下。

[-Love-Coding-]

我是来mark的