java读取文件大量信息的效率问题

lxy20008 2009-08-29 10:06:02

我做采集模块时，读取文件上的10000条数据，我是的是RandomAccessFile读取，但是效率不高，
请问大侠有什么提高效率的好方法，顺便给个例子，是不是要用到线程？

...全文

127 1 打赏收藏举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

lxy20008 2009-08-30

打赏
举报

回复

求高手HELP

java从oracle中读取大量数据写出到文件背景：项目中需要从oracle中读取表字段并以指定间隔符拼接字段，输出到txt。每张表的数据量大概在2000W左右，因为是只需要读一张表指定字段的全部数据，也不需要考虑查询优化，只针对表读取规模进行优化即可。版本oracle 11G 思路一：使用oracle语句对数据表进行分页读取，这里应注意到的是rowid效率和rownum效率问题,还有使不使用order by SELECT t.* FROM a t, (SELECT ROWNUM rn, c.*

### 最近在开发中有一个实际问题是，经常会有上千个.ksc文件（类似.txt）每份文件7k左右大小需要提取文件内容将并将文件内容写入其他目标文件中，最终读取目标文件字段提高开发效率。 ### 这里尝试用java实现以下，遇到了很多坑，感觉和python比起来，python太强大了，不过，java的缓冲是真的好用，感觉这里最值得注意的是java中的flush，不及时清缓存不能及时写入...

读取csv文件中指定行列的数据：快速提取信息，提高工作效率去发现同类优质开源项目:https://gitcode.com/ 在处理大量数据时，能否快速准确地读取csv文件中的指定行列数据，是提高工作效率的关键。今天，我将为您推荐一个功能强大的Java项目，它能够满足这一需求。项目介绍读取csv文件中指定行列的数据是一个基于Java的开源项目，适用于各种数据提取场景。该项目可在Eclipse...

使用使用使用使用 HDFS 保存大量小文件的缺点： 1.Hadoop NameNode 在内存中保存所有文件的“元信息”数据。据统计，每一个文件需要消耗 NameNode600 字节内存。如果需要保存大量的小文件会对NameNode 造成极大的压力。 2.如果采用 Hadoop MapReduce 进行小文件的处理，那么 Mapper 的个数就会跟小文件的个数成线性相关（备注：FileIn

我注意到在读取大文件(在我的例子中是csv文件)时使用java.util.Scanner非常慢。我想改变当前读取文件的方式，以提高性能。下面是我目前所拥有的。请注意，我正在为Android开发：InputStreamReader inputStreamReader;try {inputStreamReader = new InputStreamReader(context.getAssets()....

62,620

社区成员

307,251

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章