55万行的Excel数据导入Sql2000 求高效方法？

2010-01-07 09:35:29 504 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

ArcGIS实战：从Excel经纬度到地图坐标点的精准落位本文详细介绍了如何利用ArcGIS将Excel中的经纬度数据精准落位到地图坐标点。从数据准备、导入与字段匹配、坐标系设置到可视化优化，提供了实战中的避坑技巧和操作步骤，帮助用户高效处理地理数据，确保坐标点的精准显示。特别强调了坐标系选择和转换的重要性，适用于地理信息系统开发者和数据分析师。阅读详情

A表为个人基本信息
B表为缴费信息
这两个表是从oracle库中导出来的，由于个别原因没办法直接导入sql2000所以导出到excel中，而且后经过手动整理部分数据，

现在是循环A表插入到sql2000中的指定表然后通过grid在B表中查询相应的缴费记录插入到sql2000指定表中
我现在是把两个excel先读入到datatable中然后用datatable.select() 从b表中查询记录。循环期间还需要对一些数据的格式进行操作：如将一些字符串替换等等
可能是程序写的不好吧循环很慢大概8秒一行数据晕！！
请高手指教，谢谢

...全文

多线程+多连接池：CSV大文件导入数据库的性能优化实战在数据库交互场景中，数据导入是常见需求。当CSV文件达到百万行级别时，传统单连接逐条插入方式性能急剧下降。理解连接池与线程池的工作原理是优化基础：连接池复用数据库连接，线程池控制并发度，而多连接池则为导入任务隔离专属资源。通过批量提交、多线程并行、有界队列背压等机制，可显著提升写入吞吐量，将导入耗时从分钟级甚至小时级压缩至秒级。该方案适用于数据迁移、ETL、日志分析等大数据量导入场景。本文深入解析多线程+多连接池并行导入CSV的设计思路、核心代码与调优策略，帮助开发者应对大文件导入的性能挑战。阅读详情

qxw0816

C# 111,129 成员 642,538 内容

+ 关注 + 加入社区

切换为时间正序

walkghost 2010-01-08

打赏
举报

数据有没有ID？有的话，按照id或者某种规律来把文件分段，如果吹NB些就是“云”，“分布式”？
用程序，多线程导入，多开些数据库连接和线程吧。

chxg99 2010-01-08

打赏
举报

关注

特别 2010-01-07

打赏
举报

楼主是怎样读取EXCEL记录的，
你贴些代码出来才好
要不然咋提建议呢

csdnfan 2010-01-07

打赏
举报

可以在数据库中直接导入的，SQL2000也自带这个工具。

liherun 2010-01-07

打赏
举报

用sqlBulkCopy 一次批量插入别一条条的插入

qxw0816 2010-01-07

打赏
举报

请高手指教啊

qxw0816 2010-01-07

打赏
举报

[Quote=引用 7 楼 m_struggle 的回复:]
你代码写得不够优化，建议检查下代码。
[/Quote]
其实也没什么，就是把数据读到excel中，然后把列取出来期间有些字符串处理用存储过程执行
只是嵌套了个循环

m_struggle 2010-01-07

打赏
举报

你代码写得不够优化，建议检查下代码。

qxw0816 2010-01-07

打赏
举报

[Quote=引用 3 楼 liherun 的回复:]
csv
[/Quote]
我这两个excel有关系的如果是一个直接导入就行了
请指教

PSSonyXbox 2010-01-07

打赏
举报

qxw0816 2010-01-07

打赏
举报

[Quote=引用 2 楼 server126 的回复:]
我也是用for做的呀
不过我与的是“储存过程”来实现的
速度还可以
不是很慢
[/Quote]
我可能写的不好吧好几个小时才不到1万数据我哭
请指教

liherun 2010-01-07

打赏
举报

csv

PSSonyXbox 2010-01-07

打赏
举报

我也是用for做的呀
不过我与的是“储存过程”来实现的
速度还可以
不是很慢

PSSonyXbox 2010-01-07

打赏
举报

呵呵，，正巧我也做了一个这样的
不过好像没有你的那么多的Excel数据我的只有几万行

oo_2008 2010-01-07

打赏
举报

貌似一个excel文件根本就不可能支持55w行数据。为什么不写一个程序直接从oracle数据中提取数据呢？
使用sqlBulkCopy类插入数据效率是最好的，应该通过数据库也可以解决的

qldsrx 2010-01-07

打赏
举报

[Quote=引用 15 楼 qxw0816 的回复:]
数据库不再我这边，所以不行啊再说我这两个Excel是有关系的怎么用导入工具啊而且列中的值是需要一定程序的转换的比如：民族原来为01 要转为：汉族类似这样的操作
[/Quote]

如果是这样，关于“民族原来为01 要转为：汉族类似这样的操作”你可以先导入数字代码01后，再数据库中执行update,将代码数字转换为汉字。

qldsrx 2010-01-07

打赏
举报

其实最高效的做法是，数据格式处理在Oracle数据库里导出时完成，要知道数据库就是处理数据用的，你导出了处理过的数据肯定比你导出后处理快速。至于导入，使用BCP命令即可完成，整个过程无需C#编程，不过需要过硬的数据库操作能力，要问数据库操作方法，这点我还是有自信的。

silezaihuolai 2010-01-07

打赏
举报

[Quote=引用 15 楼 qxw0816 的回复:]
引用 11 楼 xinsiyu2008 的回复:
可以在数据库中直接导入的，SQL2000也自带这个工具。

数据库不再我这边，所以不行啊再说我这两个Excel是有关系的怎么用导入工具啊而且列中的值是需要一定程序的转换的比如：民族原来为01 要转为：汉族类似这样的操作
[/Quote]
天呐，像这样的东西SQL直接可以搞定啊。SELECT CASE WHERE COL = 1 THEN '汉族' WHEN COL = 2 THEN '壮族' END FROM xx表；
而且oracle利用pl/sql developer或者toda是可以直接倒出insert语句的啊。
再者楼主在使用datatable的时候是否设置了主键，设置了主键的datatable在使用select的时候可以提高不少效率呢。

qxw0816 2010-01-07

打赏
举报

[Quote=引用 11 楼 xinsiyu2008 的回复:]
可以在数据库中直接导入的，SQL2000也自带这个工具。
[/Quote]
数据库不再我这边，所以不行啊再说我这两个Excel是有关系的怎么用导入工具啊而且列中的值是需要一定程序的转换的比如：民族原来为01 要转为：汉族类似这样的操作

qxw0816 2010-01-07

打赏
举报

[Quote=引用 12 楼 sdfkfkd 的回复:]
楼主是怎样读取EXCEL记录的，
你贴些代码出来才好
要不然咋提建议呢
[/Quote]
读取已经没问题了我把记录都读到DataTable中了然后又循环DataTable 插入

加载更多回复（1）

55万行的Excel数据导入Sql2000 求高效方法？

相关推荐