55万行的Excel数据导入Sql2000 求高效方法?

qxw0816 2010-01-07 09:35:29
A表为个人基本信息
B表为缴费信息
这两个表是从oracle库中导出来的,由于个别原因没办法直接导入sql2000所以导出到excel中,而且后经过手动整理部分数据,

现在是循环A表插入到sql2000中的指定表 然后通过grid在B表中查询相应的缴费记录插入到sql2000指定表中
我现在是把两个excel先读入到datatable中 然后用datatable.select() 从b表中查询记录。循环期间还需要对一些数据的格式进行操作:如将一些字符串替换等等
可能是程序写的不好吧 循环很慢 大概8秒一行数据 晕!!
请高手指教,谢谢
...全文
374 21 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
21 条回复
切换为时间正序
请发表友善的回复…
发表回复
walkghost 2010-01-08
  • 打赏
  • 举报
回复
数据有没有ID?有的话,按照id或者某种规律来把文件分段,如果吹NB些就是“云”,“分布式”?
用程序,多线程导入,多开些数据库连接和线程吧。
chxg99 2010-01-08
  • 打赏
  • 举报
回复
关注
特别 2010-01-07
  • 打赏
  • 举报
回复
楼主是怎样读取EXCEL记录的,
你贴些代码出来才好
要不然咋提建议呢
csdnfan 2010-01-07
  • 打赏
  • 举报
回复
可以在数据库中直接导入的,SQL2000也自带这个工具。
liherun 2010-01-07
  • 打赏
  • 举报
回复
用sqlBulkCopy 一次批量插入 别一条条的插入
qxw0816 2010-01-07
  • 打赏
  • 举报
回复
请高手指教啊
qxw0816 2010-01-07
  • 打赏
  • 举报
回复
[Quote=引用 7 楼 m_struggle 的回复:]
你代码写得不够优化,建议检查下代码。
[/Quote]
其实也没什么,就是把数据读到excel中,然后把列取出来 期间有些字符串处理 用存储过程执行
只是嵌套了个循环
m_struggle 2010-01-07
  • 打赏
  • 举报
回复
你代码写得不够优化,建议检查下代码。
qxw0816 2010-01-07
  • 打赏
  • 举报
回复
[Quote=引用 3 楼 liherun 的回复:]
csv
[/Quote]
我这两个excel有关系的 如果是一个直接导入就行了
请指教
PSSonyXbox 2010-01-07
  • 打赏
  • 举报
回复
qxw0816 2010-01-07
  • 打赏
  • 举报
回复
[Quote=引用 2 楼 server126 的回复:]
我也是用for做的呀
  不过我与的是“储存过程”来实现 的
  速度还可以
不是很慢
[/Quote]
我可能写的不好吧 好几个小时才不到1万数据 我哭
请指教
liherun 2010-01-07
  • 打赏
  • 举报
回复
csv
PSSonyXbox 2010-01-07
  • 打赏
  • 举报
回复
我也是用for做的呀
不过我与的是“储存过程”来实现 的
速度还可以
不是很慢
PSSonyXbox 2010-01-07
  • 打赏
  • 举报
回复
呵呵,,正巧我也做了一个这样的
不过好像没有你的那么多的Excel数据 我的只有几万行
oo_2008 2010-01-07
  • 打赏
  • 举报
回复
貌似一个excel文件根本就不可能支持55w行数据。为什么不写一个程序直接从oracle数据中提取数据呢?
使用sqlBulkCopy类插入数据效率是最好的,应该通过数据库也可以解决的
qldsrx 2010-01-07
  • 打赏
  • 举报
回复
[Quote=引用 15 楼 qxw0816 的回复:]
数据库不再我这边,所以不行啊 再说我这两个Excel是有关系的 怎么用导入工具啊 而且列中的值是需要一定程序的转换的 比如:民族原来为01 要转为:汉族 类似这样的操作
[/Quote]

如果是这样,关于“民族原来为01 要转为:汉族 类似这样的操作”你可以先导入数字代码01后,再数据库中执行update,将代码数字转换为汉字。
qldsrx 2010-01-07
  • 打赏
  • 举报
回复
其实最高效的做法是,数据格式处理在Oracle数据库里导出时完成,要知道数据库就是处理数据用的,你导出了处理过的数据肯定比你导出后处理快速。至于导入,使用BCP命令即可完成,整个过程无需C#编程,不过需要过硬的数据库操作能力,要问数据库操作方法,这点我还是有自信的。
silezaihuolai 2010-01-07
  • 打赏
  • 举报
回复
[Quote=引用 15 楼 qxw0816 的回复:]
引用 11 楼 xinsiyu2008 的回复:
可以在数据库中直接导入的,SQL2000也自带这个工具。

数据库不再我这边,所以不行啊 再说我这两个Excel是有关系的 怎么用导入工具啊 而且列中的值是需要一定程序的转换的 比如:民族原来为01 要转为:汉族 类似这样的操作
[/Quote]
天呐,像这样的东西SQL直接可以搞定啊。SELECT CASE WHERE COL = 1 THEN '汉族' WHEN COL = 2 THEN '壮族' END FROM xx表;
而且oracle利用pl/sql developer或者toda是可以直接倒出insert语句的啊。
再者楼主在使用datatable的时候是否设置了主键,设置了主键的datatable在使用select的时候可以提高不少效率呢。
qxw0816 2010-01-07
  • 打赏
  • 举报
回复
[Quote=引用 11 楼 xinsiyu2008 的回复:]
可以在数据库中直接导入的,SQL2000也自带这个工具。
[/Quote]
数据库不再我这边,所以不行啊 再说我这两个Excel是有关系的 怎么用导入工具啊 而且列中的值是需要一定程序的转换的 比如:民族原来为01 要转为:汉族 类似这样的操作
qxw0816 2010-01-07
  • 打赏
  • 举报
回复
[Quote=引用 12 楼 sdfkfkd 的回复:]
楼主是怎样读取EXCEL记录的,
你贴些代码出来才好
要不然咋提建议呢
[/Quote]
读取已经没问题了 我把记录都读到DataTable中了 然后又循环DataTable 插入
加载更多回复(1)

111,098

社区成员

发帖
与我相关
我的任务
社区描述
.NET技术 C#
社区管理员
  • C#
  • AIGC Browser
  • by_封爱
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧