导入30万数据的高效方法-CSDN论坛

论坛帮助

CSDN论坛 > Delphi > VCL组件开发及应用

导入30万数据的高效方法 [问题点数：0分]

⋅如何通过delphi代码实现大批量的数据导入 ⋅如何通过delphi代码实现大批量的数据导入 ⋅如何通过delphi代码实现大批量的数据导入 更多帖子 关注空间博客 王祥 本版专家分：0 结帖率 100%: 0 2003-08-26 10:32:02 回复次数46

引用・举报・楼主

将一个表中的30万数据导入另一表中的高效方法有哪些，请高手进来谈谈！

问题点数：0分

CSDN推荐

CSDN今日推荐

⋅WPF 如何向QQ、MSN那样接受到消息时自动弹出窗体并置到最前端 ⋅WPF listbox 通过绑定后台数据自动显示的效率问题 ⋅EventHandler类型委托如何控制订阅顺序 更多帖子 关注空间博客 patriot 本版专家分：962: 0 2003-08-26 10:45:33

引用・举报・ #1 得分：0

30万条也不算太多,用一般的方法就可以了,而且是完全的复制提高的方法效果
也不会太好,除非加大cpu加大内存

⋅SQL SP4补丁的卸载 ⋅需要thinking in java（htm）的到这里来,不用等待,直接下载哦! ⋅求助， 更多帖子 关注空间博客 benny87 本版专家分：798: 0 2003-08-26 10:49:10

引用・举报・ #2 得分：0

30万条不能算多，任何一种方法都可以用，几乎没有什么区别。
千万条以上的话到要好好考虑考虑！

⋅C# chart如何设置坐标轴 ⋅在WebService中定义一个私有方法，有办法使用Session吗？ ⋅连续性问题，被难倒了！寻高手 更多帖子 关注空间博客 wooden954 本版专家分：9599: 0 2003-08-26 10:56:32

引用・举报・ #3 得分：0

Up

⋅mysql的备份：cmd下执行sqldump问题 ⋅批处理的 xcopy 问题 ⋅如何在 ping 结果前面加上时间日期并保存结果 更多帖子 关注空间博客 huazaijiajia 本版专家分：1339: 0 2003-08-26 10:58:55

引用・举报・ #4 得分：0

30万条不算多，什么方法都可以的，大概3、4分钟左右

王祥 本版专家分：0: 0 2003-08-26 11:15:41

引用・举报・ #5 得分：0

没这们快，要14分钟

王祥 本版专家分：0: 0 2003-08-26 11:16:54

引用・举报・ #6 得分：0

up者也有分

⋅声援一下《关于刚才那个汉奸畜生的发贴，爱国者进来签名》 ⋅程序效率的问题 ⋅老规矩，加星散分 更多帖子 关注空间博客 zjqyb 本版专家分：13385: 0 2003-08-26 11:24:28

引用・举报・ #7 得分：0

你是何种表

⋅一个JAVA函数想翻译成PHP函数 ⋅IOCP时给接收分配的内存是否4K是效率最高的 ⋅IOCP-UDP中发送投递使用WSASendTo总是不成功，谁给个好的代码。 更多帖子 关注空间博客 ZyxIp 本版专家分：9360: 0 2003-08-26 11:29:14

引用・举报・ #8 得分：0

嘻嘻，楼主一个表到另一个表到底一个什么表（SQL SERVER，Access)到另一个什么表。

不过300000不算多啦。

yijiansong 本版专家分：251: 0 2003-08-26 11:29:44

引用・举报・ #9 得分：0

up

VBer2 本版专家分：925: 0 2003-08-26 11:36:38

引用・举报・ #10 得分：0

不算多啦
up

⋅郁闷，女朋友的手机今天掉了，散分 ⋅打印form的问题！ ⋅xml文件中的汉字问题，想不通啊 更多帖子 关注空间博客 JAVA战士 本版专家分：2730: 0 2003-08-26 11:40:19

引用・举报・ #11 得分：0

我花了15分钟才导入完

⋅关于屏幕切换的问题 ⋅关于模拟IP发送的时候拆包与重组（有偿） ⋅哎，我又发帖求助（有偿啊！！） 更多帖子 关注空间博客 nyf1220 本版专家分：6671: 0 2003-08-26 12:02:41

引用・举报・ #12 得分：0

up

⋅终于娶了跟我一起整整6年的女朋友,从今以后就要叫她老婆了：），散分庆祝 ⋅终于娶了跟我一起整整6年的女朋友,从今以后就要叫她老婆了：），散分庆祝 ⋅终于娶了跟我一起整整6年的女朋友,从今以后就要叫她老婆了：），散分庆祝！ 更多帖子 关注空间博客 cnhgj 本版专家分：6000 蓝花 2003年9月 .NET技术大版内专家分月排行榜第三: 0 2003-08-26 12:23:29

引用・举报・ #13 得分：0

UP

⋅SQL SP4补丁的卸载 ⋅需要thinking in java（htm）的到这里来,不用等待,直接下载哦! ⋅求助， 更多帖子 关注空间博客 benny87 本版专家分：798: 0 2003-08-26 12:24:22

引用・举报・ #14 得分：0

不会吧，要15分钟才导入完
你是什么类型的表啊
应该很快的啊

ManagerMan 本版专家分：300: 0 2003-08-26 12:25:25

引用・举报・ #15 得分：0

没那么慢吗

⋅200分求读写一个tree的问题，先解决的直接给200分 ⋅怎么在href中提交数据？ ⋅【高手接分】问一个dtree的问题，100分放送 更多帖子 关注空间博客 karach 本版专家分：2344: 0 2003-08-26 12:32:58

引用・举报・ #16 得分：0

什么特别的方法我是没有，但是不知道你是不是在不同的数据库类型导？

easyboot 本版专家分：1854: 0 2003-08-26 12:48:50

引用・举报・ #17 得分：0

up

⋅panel 控件如何实现在窗口的最顶端，或者填充整个客户区域？ ⋅请问VB6 有无象delphi 中的 scrollbox 一样的控件？ ⋅这个网络设置怎么实现？？ 更多帖子 关注空间博客 gototop99 本版专家分：1421: 0 2003-08-26 12:52:43

引用・举报・ #18 得分：0

有时候数据库的连接方式有冲突，

你换换连接方式试一下。

以前遇到过这种问题，换连接方式后就解决了。

lzniam 本版专家分：358: 0 2003-08-26 12:56:46

引用・举报・ #19 得分：0

复制表表啊

⋅如何将RGB的JPG图片转成CMYK的JPG，请指点下，谢谢。 ⋅如何将RGB的JPG图片转成CMYK的JPG，请指点下，谢谢。 ⋅求“超长整数求余”的算法实现。100分。 更多帖子 关注空间博客 eliphe 本版专家分：2314: 0 2003-08-26 12:59:11

引用・举报・ #20 得分：0

说说你的数据库类型：Sql Server?Oracle?Access?MySql?.....??

再说说你的表的结构，看会不会有冗余字段、或者某些数据太大，比如内嵌Blob或image或OLE 对象等，这就很难说了？

⋅为什么任务栏的“拔出／弹出设备”图标不见了(xp) ⋅各路大侠,我曾是一名DELPHI程序员,现在准备学JAVA,该如何下手呢???!!! 更多帖子 关注空间博客 自由鸟 本版专家分：33: 0 2003-08-26 13:15:41

引用・举报・ #21 得分：0

我刚刚用InterBase 导三十万条记录,也是需要十五六分钟,

⋅如何通过delphi代码实现大批量的数据导入 ⋅如何通过delphi代码实现大批量的数据导入 ⋅如何通过delphi代码实现大批量的数据导入 更多帖子 关注空间博客 王祥 本版专家分：0: 0 2003-08-26 15:37:25

引用・举报・ #22 得分：0

我是从access表到access表,测算了一下速度,30万,需30分钟,用sql server的dst导入则需5分钟,我用的delphi自带的Tbatchmove控件

⋅如何通过delphi代码实现大批量的数据导入 ⋅如何通过delphi代码实现大批量的数据导入 ⋅如何通过delphi代码实现大批量的数据导入 更多帖子 关注空间博客 王祥 本版专家分：0: 0 2003-08-26 15:38:23

引用・举报・ #23 得分：0

通过编程怎样能达到像sql server dts导入数据的速度?

王祥 本版专家分：0: 0 2003-08-27 08:43:48

引用・举报・ #24 得分：0

多提建议

⋅如果保证多线程并发访问数据库的安全???? ( 真正解决. 再加工 300 ) ⋅好久没来CSDN了. 分享经验 <Delphi中DLL的消息处理> 开心, 散分. ⋅急!! Delphi 代码转换为 C 代码.... ( 我写的有错?? ) 更多帖子 关注空间博客 C 写紫色天空 本版专家分：2564: 0 2003-08-27 08:57:05

引用・举报・ #25 得分：0

学习...

⋅如何通过delphi代码实现大批量的数据导入 ⋅如何通过delphi代码实现大批量的数据导入 ⋅如何通过delphi代码实现大批量的数据导入 更多帖子 关注空间博客 王祥 本版专家分：0: 0 2003-08-27 09:02:26

引用・举报・ #26 得分：0

这是一个常遇到的问题,大家一起来讨论讨论

⋅asiainfo(亚信) 这个公司怎么样呢？ ⋅字符串分割函数，大家看看哪里有错误。 ⋅如何在excel里面用函数实现下面查询情况呢？ 更多帖子 关注空间博客 sy_315 本版专家分：1660: 0 2003-08-27 09:03:05

引用・举报・ #27 得分：0

我用berkeley数据库（级低级数据库）插值20w条还要30min左右

⋅如何通过delphi代码实现大批量的数据导入 ⋅如何通过delphi代码实现大批量的数据导入 ⋅如何通过delphi代码实现大批量的数据导入 更多帖子 关注空间博客 王祥 本版专家分：0: 0 2003-08-27 09:06:30

引用・举报・ #28 得分：0

为什么sql server 的dts导入就那么快,有人分析过他的方法没有?

王祥 本版专家分：0: 0 2003-08-27 20:16:30

引用・举报・ #29 得分：0

up

⋅灾后第一次登录，庆祝一下！以免下次再现类似情况要找出几年前的贴子告诉csdn我在第几楼！ ⋅dbexpsda -- dbExpress for SQL Server 4.20问题，知道的兄弟说一下 ⋅时间长了没来。都是新面孔，还几个老大版主！ 更多帖子 关注空间博客 huojiehai 本版专家分：20381 红花 2003年10月 Delphi大版内专家分月排行榜第一 蓝花 2003年8月 Delphi大版内专家分月排行榜第三: 0 2003-08-27 20:29:54

引用・举报・ #30 得分：0

SQL SERVER中如果你用的是BCP或Backup或restore都很快
Oracle你用Imp和emp导入也很快

⋅如何通过delphi代码实现大批量的数据导入 ⋅如何通过delphi代码实现大批量的数据导入 ⋅如何通过delphi代码实现大批量的数据导入 更多帖子 关注空间博客 王祥 本版专家分：0: 0 2003-08-27 20:31:52

引用・举报・ #31 得分：0

自已写的程序可就达不到那种速度了

⋅声援一下《关于刚才那个汉奸畜生的发贴，爱国者进来签名》 ⋅程序效率的问题 ⋅老规矩，加星散分 更多帖子 关注空间博客 zjqyb 本版专家分：13385: 0 2003-08-27 20:36:48

引用・举报・ #32 得分：0

搂主要有自信，自已写的程序为何达不到那种速度,分析一下access的文件结构
自己read and write

绝对有可能有质的飞跃

想了很久@恋了很久 本版专家分：1951: 0 2003-08-27 20:42:27

引用・举报・ #33 得分：0

UP

⋅MyEclipse 中使用Maven 远程发布到tomcat ⋅文件更新问题 ⋅jasperreport 报表直接打印问题 更多帖子 关注空间博客 fenglaile 本版专家分：2806: 0 2003-08-28 08:46:32

引用・举报・ #34 得分：0

把sql写在存储过程中，可能要快些，

⋅重新命名栏位的名字。例句 更多帖子 关注空间博客 zjy6631 本版专家分：908: 0 2003-08-28 08:51:55

引用・举报・ #35 得分：0

那要看你的表结构大不大，如果很大（有很多字段，每个字段又很长），那么导入记录就要费时。可以用存储过程导入数据。

⋅CSDN的BLOG文章能不能置顶的呀？ ⋅对于你的上司，你是如何评价的呢？ ⋅有谁知道如果得到系统托盘区中当前正在运行的所有进程？ 更多帖子 关注空间博客 Drate 本版专家分：35570 红花 2002年10月 Delphi大版内专家分月排行榜第一 黄花 2003年1月 Delphi大版内专家分月排行榜第二 蓝花 2003年9月 Delphi大版内专家分月排行榜第三: 0 2003-08-28 08:59:43

引用・举报・ #36 得分：0

现在不是有专门的工具的吗？
如果是不同数据库之间的数据导入导出，用MS SQL SERVER的DTS就非常好用呀，几乎现有的数据库都能够导，如果在DTS的列表中没有这个数据库，则还可以通过ODBC来导数据
如果只是30万条记录的话，我在ORACLE中1分钟就导完了，用的是IMP 、EXP的命令
在 SQL SERVER中用DTS的话也就差不多是这样的了
如果是ACCESS的话，你直接拷贝文件，然后删除掉不必要的表，最后压缩一下数据库就可以了

王祥 本版专家分：0: 0 2003-08-28 10:08:50

引用・举报・ #37 得分：0

看来没有结果了

⋅delphi开发群招人，up有分 ⋅asp.net技术交流群49226424欢迎大家的加入 ⋅delphi视频教学 --五子棋游戏开发(第3讲),免费高速下载 更多帖子 关注空间博客 zsy_good 本版专家分：7660: 0 2003-08-28 10:14:45

引用・举报・ #38 得分：0

1秒钟3000条纪录,赛扬1G,256内存，5400专银盘
1分半可以搞定。使用sql server 的 DTS可以实现

⋅如何屏蔽未经许可的网站 ⋅[高手请进]如何评价电脑装机方案 ⋅怎样加快局域网里客户机访问服务器的速度与增加服务器连接数 更多帖子 关注空间博客 编程无边，回头无岸…… 本版专家分：129: 0 2003-08-28 10:18:15

引用・举报・ #39 得分：0

我想知道两个结构相同的A.db，B.db文件，如果要把B.db全部导入到A.db中，如何写命令啊？

⋅如何通过delphi代码实现大批量的数据导入 ⋅如何通过delphi代码实现大批量的数据导入 ⋅如何通过delphi代码实现大批量的数据导入 更多帖子 关注空间博客 王祥 本版专家分：0: 0 2003-08-28 14:53:03

引用・举报・ #40 得分：0

用Tbatchmove控件,只是速度有些慢

⋅怎么样使Help & Manual 的 HEADER 固定，就是说内容往下拉的时候，HEADER仍可见。 ⋅接口外包，有兴趣的进来看看。价格内谈 ⋅怎么样把一副BMP图象的背景色转为白色。 更多帖子 关注空间博客 suny_2001 本版专家分：5211: 0 2003-08-28 14:57:26

引用・举报・ #41 得分：0

用MIDAS也可以啊，ClientDataSet ，加线程，应该很快了。

⋅用tomcat做服务器，怎么样配置才可以在浏览器地址栏不用输端口号？ ⋅Tomcat 服务器配置问题？ ⋅Tomcat 服务器配置问题？ 更多帖子 关注空间博客 nothing 本版专家分：89: 0 2003-08-28 15:35:09

引用・举报・ #42 得分：0

试试batchMove这个控件

⋅问题三！！！ ⋅问题二！！！ ⋅问题一！！！ 更多帖子 关注空间博客 Delphi_Li 本版专家分：10989: 0 2003-08-28 15:51:06

引用・举报・ #43 得分：0

区区30万条不是问题！！！

如果数据库是SQL Server，使用Bulk Copy命令！！！
如果数据库是Oracle，使用SQL Loader！！！
如果数据库是DB2，使用Load！！！

以上的命令执行都非常快，以Oracle为例，在PIII 1G 512MB的计算机上只需要37秒的时间。

如果不会使用以上的工具，那么使用微软提供的DTS！！！这是一个超级傻瓜式的数据导入导出工具，速度比上面的工具一般要慢3~5倍！！！

杰借 本版专家分：0: 0 2003-08-28 16:02:01

引用・举报・ #44 得分：0

up

⋅提问：intel_cyu，所谓的英特尔高性能函数库是怎样的，谢谢！ ⋅sql server2k连接超时问题。。。。 ⋅刚才看见了三颗钻石。。。。。 更多帖子 关注空间博客 投币一元 本版专家分：4262: 0 2003-08-28 16:08:29

引用・举报・ #45 得分：0

如果只是倒数据，而不做其他操作（如：
数据转换等），我的270000数据，
dbf------>sql server 只需要122秒

⋅xlsreadwriteII写表后，字段出错！请教 ⋅急！怎样输出一段时间内的每一天！！！ ⋅用VFP操作WORD文档，如何才能取得WORD文档未尾位置 更多帖子 关注空间博客 underwolf 本版专家分：177: 0 2003-08-28 16:09:23

引用・举报・ #46 得分：0

学习+学习=2学习

学习*学习=学习^2

^o^

收藏帖子

其他相关推荐

MySQL在插入90万条数据消耗的时间以及查询90万条数据时的性能优化: 我的MySQL版本是5-1-39。查看MySQL版本: mysql> select version(); +-------------+ | version() | +-------------+ | 3.23.56-log |

转：C#如何快速高效地导出10万以上的大量数据？: 转自：http://www.cnblogs.com/Ihaveadream/archive/2009/01/04/1368525.html#1643460 主要意思为：着重看上边蓝色代码的部分，经过前后两种导出方式的对比，您会发现，导出的思想改变了：原来的程序将数据一个表格一个表格地写入到EXCEL中；修改后的程序先将数据存入二维数组中，然后再将数组值赋予EXCEL应用程序对象的

复杂业务下向Mysql导入30万条数据代码优化的踩坑记录: 从毕业到现在第一次接触到超过30万条数据导入MySQL的场景（有点low），就是在顺丰公司接入我司EMM产品时需要将AD中的员工数据导入MySQL中，因此楼主负责的模块connector就派上了用场。在楼主的努力下，线上数据同步代码经历了从最初的将近16个小时（并且还出现其他问题这些问题，等后面慢慢细说），到最终25分钟的性能优化。打个广告，楼主自己造的轮子，感兴趣的请点https...

导出100万条数据到excel: 导出100万条数据到excel 目的数据库中有100万条数据，用java程序导入到excel,所花费的时间演示过程eclipse 创建main sqlserver连接数据库程序 TCP/IP连接失败 sqlserver 配置管理器打开tcp/ip连接 excel连接包 java.lang.ClassNotFoundException: org.apache.commons.collections

java一次性查询处理几百万数据解决方法: java一次性查询处理几百万数据解决方法几百万数据是可以处理的暂时还没试过几千万级的数据处理

oracle高效导入数据方法: 如何导入表数据产生的redo和undo产生量最少，导入速度最快 1.使用create table as select * from table_name; 此时会产生少量的undo信息，undo信息又会生成少量redo日志与insert into table_name as select * from table_name;相比产生的日志少，undo信息也少 2.导入表的时候事先

我是怎么把4000万条数据从oracle导入到mysql中的: 由于公司想换用广告投放系统，要测试下新系统的性能，可是公司以前的系统采用的是oracle，新的系统是mysql，表结构也不太相同。首先在本地oracle中新建了一个用户，新建了一套和那个mysql上一样结构的数据表，然后组织数据把旧数据插入到新表中。接下来就是把本地oracle上的数据，导到mysql上去。导出成sql脚本，好几G的脚本，而且两个数据库不再一个网段上，执行起来一很慢。导成文件数据库又不一致。在没有想到好的导出导入办法的情况下，选择了采用程序实现，下面是我的全部代码：pub

PHP如何实现百万级数据导出: | 前言公司目前有一个需求，需要对一个日增量在20万+数据量的数据表中的数据进行可自定义条件筛选的导出数据，该功能需要对多个部门进行开发使用，要保证功能可用的前提下，尽量优化体验。首先介绍一下当前可利用的资源： 1、MySql - 一主库双从库。 2、分布式服务器集群，选择其中一台中型机作为脚本执行载体。 3、文件系统 - 可以支持上传大数据量文件。 4、编程语言PHP，说实话PH...

一份年薪30万的Android面试宝典，附答案: 0、Android整体架构谈谈你对android系统（体系）架构的理解 Linux操作系统为核心，从下往上，依赖关系。应用程序层：包括系统应用以及第三方应用。应用程序框架：提供应用开发所必须的一些API框架，是软件复用的重要手段库：android运行时（核心包（相当于JDK提供的包），虚拟机（优化过的JVM））；C/C++的

30万只是白菜价！这些公司薪水超高！: 近日，一份2018届互联网校招高薪清单在网络流传，清单显示了众多知名互联网企业技术类岗位的年薪水平。其中包括谷歌中国、微软、google、腾讯、大疆、海康、华为、网易游戏、阿里巴巴、滴滴、百度、今日头条的知名互联网企业，他们给校招生开出的年薪水平均在30万以上，提供以上薪资水平的岗位也多为算法工程师、研发工程师、软件工程师等技术性较强的岗位。据一位拿到大疆offer的学生介绍，大疆提供的普通off

关闭