55万行的Excel数据导入Sql2000 求高效方法？

[qxw0816]

A表为个人基本信息
B表为缴费信息
这两个表是从oracle库中导出来的，由于个别原因没办法直接导入sql2000所以导出到excel中，而且后经过手动整理部分数据，

现在是循环A表插入到sql2000中的指定表 然后通过grid在B表中查询相应的缴费记录插入到sql2000指定表中
我现在是把两个excel先读入到datatable中 然后用datatable.select() 从b表中查询记录。循环期间还需要对一些数据的格式进行操作：如将一些字符串替换等等
可能是程序写的不好吧 循环很慢 大概8秒一行数据 晕！！
请高手指教，谢谢

[qxw0816]

[Quote=引用 12 楼 sdfkfkd 的回复:]
楼主是怎样读取EXCEL记录的，
你贴些代码出来才好
要不然咋提建议呢
[/Quote]
读取已经没问题了 我把记录都读到DataTable中了 然后又循环DataTable 插入

[qxw0816]

[Quote=引用 11 楼 xinsiyu2008 的回复:]
可以在数据库中直接导入的，SQL2000也自带这个工具。
[/Quote]
数据库不再我这边，所以不行啊 再说我这两个Excel是有关系的 怎么用导入工具啊 而且列中的值是需要一定程序的转换的 比如：民族原来为01 要转为：汉族 类似这样的操作

[silezaihuolai]

[Quote=引用 15 楼 qxw0816 的回复:]
引用 11 楼 xinsiyu2008 的回复:
可以在数据库中直接导入的，SQL2000也自带这个工具。

数据库不再我这边，所以不行啊 再说我这两个Excel是有关系的 怎么用导入工具啊 而且列中的值是需要一定程序的转换的 比如：民族原来为01 要转为：汉族 类似这样的操作
[/Quote]
天呐，像这样的东西SQL直接可以搞定啊。SELECT CASE WHERE COL = 1 THEN '汉族' WHEN COL = 2 THEN '壮族' END FROM xx表；
而且oracle利用pl/sql developer或者toda是可以直接倒出insert语句的啊。
再者楼主在使用datatable的时候是否设置了主键，设置了主键的datatable在使用select的时候可以提高不少效率呢。

[qldsrx]

其实最高效的做法是，数据格式处理在Oracle数据库里导出时完成，要知道数据库就是处理数据用的，你导出了处理过的数据肯定比你导出后处理快速。至于导入，使用BCP命令即可完成，整个过程无需C#编程，不过需要过硬的数据库操作能力，要问数据库操作方法，这点我还是有自信的。

[qldsrx]

[Quote=引用 15 楼 qxw0816 的回复:]
数据库不再我这边，所以不行啊 再说我这两个Excel是有关系的 怎么用导入工具啊 而且列中的值是需要一定程序的转换的 比如：民族原来为01 要转为：汉族 类似这样的操作
[/Quote]

如果是这样，关于“民族原来为01 要转为：汉族 类似这样的操作”你可以先导入数字代码01后，再数据库中执行update,将代码数字转换为汉字。

[oo_2008]

貌似一个excel文件根本就不可能支持55w行数据。为什么不写一个程序直接从oracle数据中提取数据呢？
使用sqlBulkCopy类插入数据效率是最好的，应该通过数据库也可以解决的

[PSSonyXbox]

呵呵，，正巧我也做了一个这样的
不过好像没有你的那么多的Excel数据 我的只有几万行

[PSSonyXbox]

我也是用for做的呀
不过我与的是“储存过程”来实现 的
速度还可以
不是很慢

[liherun]

csv

[qxw0816]

[Quote=引用 2 楼 server126 的回复:]
我也是用for做的呀
  不过我与的是“储存过程”来实现 的
  速度还可以
不是很慢
[/Quote]
我可能写的不好吧 好几个小时才不到1万数据 我哭
请指教

[PSSonyXbox]

[qxw0816]

[Quote=引用 3 楼 liherun 的回复:]
csv
[/Quote]
我这两个excel有关系的 如果是一个直接导入就行了
请指教

[m_struggle]

你代码写得不够优化，建议检查下代码。

[qxw0816]

[Quote=引用 7 楼 m_struggle 的回复:]
你代码写得不够优化，建议检查下代码。
[/Quote]
其实也没什么，就是把数据读到excel中，然后把列取出来 期间有些字符串处理 用存储过程执行
只是嵌套了个循环

[qxw0816]

请高手指教啊

[liherun]

用sqlBulkCopy 一次批量插入 别一条条的插入

[csdnfan]

可以在数据库中直接导入的，SQL2000也自带这个工具。

[特别]

楼主是怎样读取EXCEL记录的，
你贴些代码出来才好
要不然咋提建议呢

[chxg99]

关注

[walkghost]

数据有没有ID？有的话，按照id或者某种规律来把文件分段，如果吹NB些就是“云”，“分布式”？
用程序，多线程导入，多开些数据库连接和线程吧。