导入30万数据的高效方法 [问题点数：0分]
-
本版专家分：0结帖率 100% -
回复次数46楼主将一个表中的30万数据导入另一表中的高效方法有哪些，请高手进来谈谈！问题点数：0分
-
本版专家分：962 -
#1 得分：030万条也不算太多,用一般的方法就可以了,而且是完全的复制提高的方法效果
也不会太好,除非加大cpu加大内存
-
本版专家分：798
-
#2 得分：030万条不能算多，任何一种方法都可以用，几乎没有什么区别。
千万条以上的话到要好好考虑考虑！
-
本版专家分：9599 -
#3 得分：0Up
-
本版专家分：1339 -
#4 得分：030万条不算多，什么方法都可以的，大概3、4分钟左右
-
本版专家分：0
-
#5 得分：0没这们快，要14分钟
-
本版专家分：0
-
#6 得分：0up者也有分
-
本版专家分：13385 -
#7 得分：0你是何种表
-
本版专家分：9360
-
#8 得分：0嘻嘻，楼主 一个表到另一个表 到底 一个什么表（SQL SERVER，Access)到另一个什么表。
不过300000不算多啦。
-
本版专家分：251 -
#9 得分：0up
-
本版专家分：925 -
#10 得分：0不算多啦
up
-
本版专家分：2730 -
#11 得分：0我花了15分钟才导入完
-
本版专家分：6671
-
#12 得分：0up
-
本版专家分：6000
-
- 蓝花 2003年9月 .NET技术大版内专家分月排行榜第三
-
-
#13 得分：0UP
-
本版专家分：798
-
#14 得分：0不会吧，要15分钟才导入完
你是什么类型的表啊
应该很快的啊
-
本版专家分：2344
-
#16 得分：0什么特别的方法我是没有，但是不知道你是不是在不同的数据库类型导？
-
本版专家分：1854
-
#17 得分：0up
-
本版专家分：1421
-
#18 得分：0有时候数据库的连接方式有冲突，
你换换连接方式 试一下。
以前遇到过这种问题，换连接方式 后就解决了。
-
本版专家分：358
-
#19 得分：0复制表表啊
-
本版专家分：2314 -
#20 得分：0说说你的数据库类型：Sql Server?Oracle?Access?MySql?.....??
再说说你的表的结构，看会不会有冗余字段、或者某些数据太大，比如内嵌Blob或image或OLE 对象等，这就很难说了？
-
本版专家分：33
-
#21 得分：0我刚刚用InterBase 导三十万条记录,也是需要十五六分钟,
-
本版专家分：0
-
#22 得分：0我是从access表到access表,测算了一下速度,30万,需30分钟,用sql server的dst导入则需5分钟,我用的delphi自带的Tbatchmove控件
-
本版专家分：0
-
#23 得分：0通过编程怎样能达到像sql server dts导入数据的速度?
-
本版专家分：0
-
#24 得分：0多提建议
-
本版专家分：2564 -
#25 得分：0学习...
-
本版专家分：0
-
#26 得分：0这是一个常遇到的问题,大家一起来讨论讨论
-
本版专家分：1660
-
#27 得分：0我用berkeley数据库（级低级数据库）插值20w条还要30min左右
-
本版专家分：0
-
#28 得分：0为什么sql server 的dts导入就那么快,有人分析过他的方法没有?
-
本版专家分：0
-
#29 得分：0up
-
本版专家分：20381
-
- 红花 2003年10月 Delphi大版内专家分月排行榜第一
-
- 蓝花 2003年8月 Delphi大版内专家分月排行榜第三
-
-
#30 得分：0SQL SERVER中如果你用的是BCP或Backup或restore都很快
Oracle你用Imp和emp导入也很快
-
本版专家分：0
-
#31 得分：0自已写的程序可就达不到那种速度了
-
本版专家分：13385
-
#32 得分：0搂主要有自信，自已写的程序为何达不到那种速度,分析一下access的文件结构
自己read and write
绝对有可能有质的飞跃
-
本版专家分：1951 -
#33 得分：0UP
-
本版专家分：2806
-
#34 得分：0把sql写在存储过程中，可能要快些，
-
本版专家分：908
-
#35 得分：0那要看你的表结构大不大，如果很大（有很多字段，每个字段又很长），那么导入记录就要费时。可以用存储过程导入数据。
-
本版专家分：35570
-
- 红花 2002年10月 Delphi大版内专家分月排行榜第一
-
- 黄花 2003年1月 Delphi大版内专家分月排行榜第二
-
- 蓝花 2003年9月 Delphi大版内专家分月排行榜第三
-
-
#36 得分：0现在不是有专门的工具的吗？
如果是不同数据库之间的数据导入导出，用MS SQL SERVER的DTS就非常好用呀，几乎现有的数据库都能够导，如果在DTS的列表中没有这个数据库，则还可以通过ODBC来导数据
如果只是30万条记录的话，我在ORACLE中1分钟就导完了，用的是IMP 、EXP的命令
在 SQL SERVER中用DTS的话也就差不多是这样的了
如果是ACCESS的话，你直接拷贝文件，然后删除掉不必要的表，最后压缩一下数据库就可以了
-
本版专家分：0
-
#37 得分：0看来没有结果了
-
本版专家分：7660
-
#38 得分：01秒钟3000条纪录,赛扬1G,256内存，5400专银盘
1分半可以搞定。使用sql server 的 DTS可以实现
-
本版专家分：129
-
#39 得分：0我想知道两个结构相同的A.db，B.db文件，如果要把B.db全部导入到A.db中，如何写命令啊？
-
本版专家分：0
-
#40 得分：0用Tbatchmove控件,只是速度有些慢
-
本版专家分：5211 -
#41 得分：0用MIDAS也可以啊，ClientDataSet ，加线程，应该很快了。
-
本版专家分：89
-
#42 得分：0试试batchMove这个控件
-
本版专家分：10989
-
#43 得分：0区区30万条不是问题！！！
如果数据库是SQL Server，使用Bulk Copy命令！！！
如果数据库是Oracle，使用SQL Loader！！！
如果数据库是DB2，使用Load！！！
以上的命令执行都非常快，以Oracle为例，在PIII 1G 512MB的计算机上只需要37秒的时间。
如果不会使用以上的工具，那么使用微软提供的DTS！！！这是一个超级傻瓜式的数据导入导出工具，速度比上面的工具一般要慢3~5倍！！！
-
本版专家分：0
-
#44 得分：0up
-
本版专家分：4262
-
#45 得分：0如果只是倒数据，而不做其他操作（如：
数据转换等），我的270000数据，
dbf------>sql server 只需要122秒
-
本版专家分：177
-
#46 得分：0学习+学习=2学习
学习*学习=学习^2
^o^
- 其他相关推荐
- Excel数据快速导入mysql的几个办法
- 有时候需要批量插入一批数据到数据库，有很多种办法，这里我用到过三种办法： 1、通过Excel直接生成insert语句 =CONCATENATE("insert into aisee_pingfen_fengcai(id,order_n,department,subject_n,teacher_name) values('",A1,"','",B1,&
- java 导入 十万级excel数据
- java 导入excel，我导的10万的数据，没试过更大的，应该是没有问题
- poi导入100万大数据
- poi导入100万大数据，前提你的jvm调过有 调大堆的大小。
- <MongoDB | Mysql>亿级别---数据生成及高效率导入
- 做这件事情之前，首先 对于mysql，首先需要改改mysql的默认存储路径，以免因为硬盘分区或者挂载容量的问题，导致数据插入不成功。 对于mongodb，只需要改一下启动时命令行的存储路径。
- 超高效率导出到Excel——60万个数据9秒导出
- Excel的ADO方法导出，60万个数据9秒导出。直接用SQL语句在Excel文件中追加需要导出的数据记录，代码简单明了，操作方便，效率较高（可能是仅次于文件流导出的方式）。
- 如何将几十万的数据高效的导出到excel中
- 思路： 一、同步导出1、分页查询数据 2、将数据通过poi SXSSFWorkbook类写入excel，并可持久化到磁盘，防止内存溢出3、多线程 TODO4、导出时，通知用户，导出到哪一行了 TODO a、可通过websocket通知 b、算法: (当前值/总大小值) *(100/100) c、下载文件设置显示进度：https://blog.csdn.net/myna...
- MySql 快速插入千万级大数据
- 在数据分析领域，数据库是我们的好帮手。不仅可以接受我们的查询时间，还可以在这基础上做进一步分析。所以，我们必然要在数据库插入数据。在实际应用中，我们经常遇到千万级，甚至更大的数据量。如果没有一个快速的插入方法，则会事倍功半，花费大量的时间。 在参加阿里的天池大数据算法竞赛中（流行音乐趋势预测），我遇到了这样的问题，在没有优化数据库查询及插入之前，我花了不少冤枉时间，没有优化之前，1500万条数据
- java读取大文本直接插入Mysql数据库，10万条数据4秒执行完
- java读取大文本直接插入数据库： 需求如下： 需要解析的文本文件是从考勤机中导出的1_attlog.dat,dat文件，根据项目需要，我只要2列数据，如下图 第一列在数据库对应的字段为 column3，第二列在数据库对应的字段为column13，测试的sql语句如下： -- ---------------------------- -- Table struc
- mysql 快速插入1000万条数据方法
- 不说上sql 上面有注释--创建MyISAM模式表方便批量跑数据 CREATE TABLE `logs1` ( `id` int(11) NOT NULL AUTO_INCREMENT, `logtype` varchar(255) DEFAULT NULL, `logurl` varchar(255) DEFAULT NULL, `logip` varchar(255) DEF...
- mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式)
- 首先将ids_app_installed_top_1000_3_ratio_wrap_m_top5000W.txt放入到数据库数据目录/var/local/mysql/data/${db_name}/ 下，并确保导入用户拥有这个txt文件的权限,否则会报Error 13错误1.${table_name}换myisam，我们的场景对事务没啥要求2.导入前修改参数和禁止索引更新mysql> SET S