关于读文件然后写入数据库的效率问题

J寻 2008-01-31 11:57:18

我现在要完成的是一个读取文件记录的并把记录截取成若干串，再插入到数据库中，
数据库用的是ORACLE，我现在做的是10万条记录要10多分钟，怎么样才能提高效率呢
不知道从什么方面下手啊！！！！望高人指点

...全文

58 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

老紫竹 2008-01-31

打赏
举报

回复

哇！你发了这么多啊！看另外一个回复吧！
http://topic.csdn.net/u/20080131/11/e3d6da28-ebce-442c-8f2c-902b5a896077.html

java实现Excel数据导入到数据库，如果数据库中存在就更新。 数据库数据导入到Excel表中。

为方便大家的学习、交流，将博客导出为pdf，有兴趣的童鞋可自行下载！

文件操作是一种重要的输入输出方式，即从数据文件读取数据或将结果写入数据文件。MATLAB提供了一系列低层输入输出函数，专门用于文件操作。 1、文件的打开与关闭 1)打开文件在读写文件之前，必须先用fopen函数打开或创建文件，并指定对该文件进行的操作方式需求：有一个很大的txt文件(1,000,000条数据)，从txt中读取有用数据库后保存到Oracle数据库中利用Java实现：1、加载文件后一...

1、直接读文件相比数据库查询效率更胜一筹，而且文中还没算上连接和断开的时间。 2、一次读取的内容越大，直接读文件的优势会越明显（读文件时间都是小幅增长，这跟文件存储的连续性和簇大小等有关系），这个结果恰恰跟天缘预料的相反，说明MYSQL对更大文件读取可能又附加了某些操作（两次时间增长了近30%），如果只是单纯的赋值转换应该是差异偏小才对。 3、写文件和INSERT几乎不用测试就可以推测出，数据库效率只会更差。 4、很小的配置文件如果不需要使用到数据库特性，更加适合放到独立文件里存取，无需单独创建数据表或记录

本文实例讲述了Python3实现将本地JSON大数据文件写入MySQL数据库的方法。分享给大家供大家参考，具体如下：最近导师给了一个yelp上的评论数据，数据量达到3.55个G，如果进行分析时直接使用本地文件，选择python来分析，那么效率是非常低的；另一方面使用SQL来储存文本文件最为安全，之前使用CSV，txt存储的文本文件最后莫名其妙地出现一些奇怪字符，导致读取数据分割时出现错乱。下面给出...

62,623

社区成员

307,257

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章