社区
Delphi
帖子详情
导入30万数据的高效方法
jsyzwx
2003-08-26 10:32:02
将一个表中的30万数据导入另一表中的高效方法有哪些,请高手进来谈谈!
...全文
71
46
打赏
收藏
导入30万数据的高效方法
将一个表中的30万数据导入另一表中的高效方法有哪些,请高手进来谈谈!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
46 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
cyh1898
2003-08-28
打赏
举报
回复
我想知道两个结构相同的A.db,B.db文件,如果要把B.db全部导入到A.db中,如何写命令啊?
zsy_good
2003-08-28
打赏
举报
回复
1秒钟3000条纪录,赛扬1G,256内存,5400专银盘
1分半可以搞定。使用sql server 的 DTS可以实现
jsyzwx
2003-08-28
打赏
举报
回复
看来没有结果了
Drate
2003-08-28
打赏
举报
回复
现在不是有专门的工具的吗?
如果是不同数据库之间的数据导入导出,用MS SQL SERVER的DTS就非常好用呀,几乎现有的数据库都能够导,如果在DTS的列表中没有这个数据库,则还可以通过ODBC来导数据
如果只是30万条记录的话,我在ORACLE中1分钟就导完了,用的是IMP 、EXP的命令
在 SQL SERVER中用DTS的话也就差不多是这样的了
如果是ACCESS的话,你直接拷贝文件,然后删除掉不必要的表,最后压缩一下数据库就可以了
zjy6631
2003-08-28
打赏
举报
回复
那要看你的表结构大不大,如果很大(有很多字段,每个字段又很长),那么导入记录就要费时。可以用存储过程导入数据。
fenglaile
2003-08-28
打赏
举报
回复
把sql写在存储过程中,可能要快些,
underwolf
2003-08-28
打赏
举报
回复
学习+学习=2学习
学习*学习=学习^2
^o^
fansnaf
2003-08-28
打赏
举报
回复
如果只是倒数据,而不做其他操作(如:
数据转换等),我的270000数据,
dbf------>sql server 只需要122秒
wjhs
2003-08-28
打赏
举报
回复
up
Delphi_Li
2003-08-28
打赏
举报
回复
区区30万条不是问题!!!
如果数据库是SQL Server,使用Bulk Copy命令!!!
如果数据库是Oracle,使用SQL Loader!!!
如果数据库是DB2,使用Load!!!
以上的命令执行都非常快,以Oracle为例,在PIII 1G 512MB的计算机上只需要37秒的时间。
如果不会使用以上的工具,那么使用微软提供的DTS!!!这是一个超级傻瓜式的数据导入导出工具,速度比上面的工具一般要慢3~5倍!!!
renbao1999
2003-08-28
打赏
举报
回复
试试batchMove这个控件
suny_2001
2003-08-28
打赏
举报
回复
用MIDAS也可以啊,ClientDataSet ,加线程,应该很快了。
jsyzwx
2003-08-28
打赏
举报
回复
用Tbatchmove控件,只是速度有些慢
jsyzwx
2003-08-27
打赏
举报
回复
为什么sql server 的dts导入就那么快,有人分析过他的方法没有?
sy_315
2003-08-27
打赏
举报
回复
我用berkeley数据库(级低级数据库)插值20w条还要30min左右
jsyzwx
2003-08-27
打赏
举报
回复
这是一个常遇到的问题,大家一起来讨论讨论
cmain83
2003-08-27
打赏
举报
回复
学习...
jsyzwx
2003-08-27
打赏
举报
回复
多提建议
DJ_KK
2003-08-27
打赏
举报
回复
UP
zjqyb
2003-08-27
打赏
举报
回复
搂主要有自信,自已写的程序为何达不到那种速度,分析一下access的文件结构
自己read and write
绝对有可能有质的飞跃
加载更多回复(26)
Java怎么实现几十
万
条
数据
插入(
30
万
条
数据
插入MySQL仅需13秒)
Java怎么实现几十
万
条
数据
插入(
30
万
条
数据
插入仅需13秒)
玩转Redis-生产环境如何
导入
、导出及删除大量
数据
《玩转Redis》系列文章主要讲述Redis的基础及中高级应用。本文是《玩转Redis》系列第【13】篇,最新系列文章请前往公众号“zxiaofan”(点我点我)查看,或百度搜索“玩转Redis zxiaofan”即可。 Redis生产环境安全
高效
导入
大量
数据
Redis非集群模式
导入
大量
数据
Redis集群模式
导入
大量
数据
Redis生产环境安全
高效
导出大量
数据
Redis
导入
导出所有
数据
Redis导出指定前缀(指定通配符)
数据
Redis生产环境安全
高效
删除
数据
HBase快速
导入
巨量
数据
—— Bulk Loading
优点: 如果我们一次性入库hbase巨量
数据
,处理速度慢不说,还特别占用Region资源, 一个比较
高效
便捷的
方法
就是使用 “Bulk Loading”
方法
,即HBase提供的HFileOutputFormat类。 它是利用hbase的
数据
信息按照特定格式存储在hdfs内这一原理,直接生成这种hdfs内存储的
数据
格式文件,然后上传至合适位置,即完成巨量
数据
快速入库的办法。配合mapreduce完成,
高效
便捷,而且不占用region资源,增添负载。 限制: 仅适合初次
数据
导入
,即表内
数据
为空.
Java自动化Excel
导入
及校验
数据
代码
Java自动化Excel
导入
及校验
数据
代码主要技术点技术点讲解代码部分结果 主要技术点 1.java反射技术原理 用法:灵活调用参数,自动实例化 2.java自定义注解 用法:定义pojo规则,强制规定每一种属性的范畴 技术点讲解 要想解剖一个类,必须先要获取到该类的字节码文件对象。而解剖使用的就是Class类中的
方法
.所以先要获取到每一个字节码文件对应的Class类型的对象. 反射就是把java类中的各种成分映射成一个个的Java对象 而在这张表的基础上 我参照资料整理出这张图 当将字节码文件加载进
解决方案:Java
导入
数据
校验工具类
1、Excel
数据
导入
系统对
导入
的
数据
进行各种校验,比如:判空校验,日期格式要求,数值格式限定等,这些校验我们可以考虑做成工具类进行,避免逐个字段进行逻辑判断和校验,代码量较大,编写代码手误等不利条件导致工作量和验证耗时较长。 所以,考虑了一种统一判断的方案,对所有个字段设定格式要求,代码自动校验。 说明:因个人开发周期短,尚未对方案进行优化,不足支持,请多指正。代码仅供参考。 2、工...
Delphi
5,388
社区成员
262,730
社区内容
发帖
与我相关
我的任务
Delphi
Delphi 开发及应用
复制链接
扫一扫
分享
社区描述
Delphi 开发及应用
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章