数据量大的txt文件，中间要删除或者要插入一条记录如何做优化。

sunlru 2013-02-17 09:50:57

数据量大的文件，中间要删除或者要插入一条记录如何做优化。txt每行的长度不固定，只是以回车符分割。

...全文

298 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

Icedmilk 2013-02-18

打赏
举报

回复

要想快就不能用StreamReader之类文本处理的类直接用FileStream二进制读取去寻找'\n'这个换行符无论如何都是要重写整个文件的如果文件是在是很大，可以考虑将文件分块，比如每块100MB

showjim 2013-02-18

打赏
举报

回复

找一个数据库

以专业开发人员为伍 2013-02-17

打赏
举报

回复

http://bbs.csdn.net/topics/390276389

以专业开发人员为伍 2013-02-17

打赏
举报

回复

哪有什么优化啊？！

mysqldump -u root -p -q -e -t webgps4 dn_location2 > dn_location2.sql mysqldump -u root -p -q -e -t –single-transaction webgps4 dn_location2 > dn_location2.sql source dn_location2.sql 以上是导入导出数据的语句，该方法15分钟导出1.6亿条记录，导出的文件中平均7070条记录拼成一个insert语句，通过sourc

1 原执行步骤从Hive中拉数据产出数据文件主进程读文件，按子进程数切分根据待插入集合，使用 ON DUPLICATE KEY UPDATE 批量更新或插入 table1（假设supply_id,order_id为联合唯一索引）和 table2 INSERT INTO table1 (supply_id,order_id,num,end_time,status) VALUES (504...

文章内容来自于：尚硅谷MySQL技术高级篇 MySQL批量插入数据最简单的就是循环遍历，调用多次INSERT语句不就可以插入多条记录了吗！但是这种方法会增加服务器的负荷，因为，执行每一次SQL，服务器都要同样对SQL进行分析、优化等操作。MySQL提供了另一种解决方案，就是使用一条INSERT语句来插入多条记录。这并不是标准的SQL语法，因此只能在MySQL中使用。 @[toc] ## 方式一、load data infile命令首先修改my.ini（linux是/etc/my.cnf）下secure.

前提刚进公司就给我整个Json文件解析入库ES的任务，丢了个网站给我（https://opendata.rapid7.com/sonar.fdns_v2/，有兴趣的可以下载一个玩玩），要我下载一个最大的包解析，讲真的，有点懵也不敢说，就下载30g的那个，解压出来将近300g。当时脑子里只有一句话：不能往内存里读。我寻思这起码有几十亿的数据把。突然就达到我职业生涯（实习生）以来见过最大的数据。需求里面是这样的数据，每个文件也有些出入，键是一样的，值可能会有不同：然后呢，需要先解析一下，换成我们需要

https://www.cnblogs.com/zjfjava/p/12907922.html Kettle中的ETL优化结合自己工作中的使用和收集的一些经验，谈谈对Kettle中的ETL的一些优化。数据库方面 1.1 配置连接池如果业务数据量很多和短连接很多，可以考虑使用数据库连接池，在这个时候，每次数据库连接建立和断开所花费的时间远长于进行数据库操作的时间，配置连接池可以更好的利用网络资源，将连接建立和断开的开销降低到最小。因此在大多数情况下，配置Kettle数据库连接池均可提高ETL的性能，

110,577

社区成员

642,558

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧

+ 用AI写文章