社区
Oracle 高级技术
帖子详情
海量数据插入问题
leezou
2003-11-26 11:33:18
有个将近百万行的文本文件,每一行数据解析后要插入到数据库中一张新表中的一行。有没有方法用最短的时间实现该项功能,无论用到oracle数据库的知识,哪种编程语言还是什么算法,能提高速度就行。(好的建议再给分)
...全文
43
5
打赏
收藏
海量数据插入问题
有个将近百万行的文本文件,每一行数据解析后要插入到数据库中一张新表中的一行。有没有方法用最短的时间实现该项功能,无论用到oracle数据库的知识,哪种编程语言还是什么算法,能提高速度就行。(好的建议再给分)
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
5 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
llm06
2003-11-26
打赏
举报
回复
1、可以使用sqlldr来把文本导入到oracle数据库。sqlldr是oracle提供的工具。可以找些资料看看sqlldr的使用
2、使用编程语言来写,没什么特别的,读一行写一行,提交可以一批一批提交,也许速度快些。
mywhsw
2003-11-26
打赏
举报
回复
还有个方法,可以试一下,不用编程,先把你的文本放到excel里,想办法按你的分隔付分成各列,然后利用plsql_developer 直接粘贴进去提交就ok了,虽然很简单,但是速度方面是不敢保证的
mywhsw
2003-11-26
打赏
举报
回复
说明要有几百万的数据提交到数据库里,
只要没有什么数据的验证,数据提交的速度方面,刚开始和后来理论上是一样的,哪中语言编都可以,但要注意要批量的导入,回滚段也要设大,注意保存好提交的状态,比如1000条就commite 一下,记住当前的rowid,万一中断了还可以继续导,否则就白干了
ern
2003-11-26
打赏
举报
回复
还是用文本导入吧,我觉得至少是最方便的,速度没有具体比较过,但是没理由慢啊
vrv0129
2003-11-26
打赏
举报
回复
first 寫成*.sql
then sql>@ *.sql
mysql
海量
数据
插入
mysql
海量
数据
插入
可以使用构造SQL语句的方法,mysql支持一条SQL语句,
插入
多条记录。(ORACLE不支持)SQL:INSERT INTO tb_name VALUES (record1),(record1),(record1),(record1);需要注意的是,mysql有设置接收sql...
MySQL优化之
海量
数据
批量
插入
多线程
插入
(单表) 多线程
插入
(多表) ...答:在
数据
里做
插入
操作的时候,整体时间的分配是这样的: 链接耗时 (30%) 发送query到服务器 (20%) 解析query (20%)
插入
操作 (10% * 词条数目)
插入
index ...
Java怎么实现几十万条
数据
插入
(30万条
数据
插入
MySQL仅需13秒)
Java怎么实现几十万条
数据
插入
(30万条
数据
插入
仅需13秒)
海量
数据
处理面试题集锦
十七道
海量
数据
处理面试题与Bit-map详解作者:小桥流水,redfox66,July。前言 本博客内曾经整理过有关
海量
数据
处理的10道面试题(十道
海量
数据
处理面试题与十个方法大总结),此次除了重复了之前的10道面试题之后...
海量
数据
中重复
数据
的SQLSERVER
插入
失败的寻找办法
海量
数据
中重复
数据
的SQLSERVER
插入
失败的寻找办法:
海量
重复
数据
的SQLSERVER
插入
失败的寻找办法: >sqlcmd -E -i c:\bbb.sql -d FY_ERPHH -b >11.txt bbb.sql为写着insert的脚本 SSMS TOOLS 选中表生成到...
Oracle 高级技术
3,491
社区成员
18,714
社区内容
发帖
与我相关
我的任务
Oracle 高级技术
Oracle 高级技术相关讨论专区
复制链接
扫一扫
分享
社区描述
Oracle 高级技术相关讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章