62,621
社区成员
发帖
与我相关
我的任务
分享请教怎样从文件读到的内容一行行分析
如下代码：
1、怎样把读到的内容（在BUFFER里）一行一行进行分析？ 也就是 getline操作
2、如下的读法，可以只读一部分文件的内容吗？也就是分批读取？
谢谢
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.ByteBuffer;
import java.nio.channels.FileChannel;
public class test
{
public static void main(String[] args) throws IOException
{
FileInputStream fileInputStream = new FileInputStream("tconfirmdetail.txt");
FileChannel inChannel = fileInputStream.getChannel();
ByteBuffer byteBuffer = ByteBuffer.allocateDirect(57972956);
while(true)
{
int eof = inChannel.read(byteBuffer);
if(eof == -1 ) break;
byteBuffer.flip();
byteBuffer.clear();
}
inChannel.close();
}
}
1、怎样把读到的内容（在BUFFER里）一行一行进行分析？ 也就是 getline操作
2、如下的读法，可以只读一部分文件的内容吗？也就是分批读取？
谢谢
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.ByteBuffer;
import java.nio.channels.FileChannel;
public class test
{
public static void main(String[] args) throws IOException
{
FileInputStream fileInputStream = new FileInputStream("tconfirmdetail.txt");
FileChannel inChannel = fileInputStream.getChannel();
ByteBuffer byteBuffer = ByteBuffer.allocateDirect(57972956);
while(true)
{
int eof = inChannel.read(byteBuffer);
if(eof == -1 ) break;
byteBuffer.flip();
byteBuffer.clear();
}
inChannel.close();
}
}
...全文
请发表友善的回复…
发表回复
SkyJS 2014-10-24
- 打赏
- 举报
NIO:是文件映射内存的方式，可以方便你处理大文件。不用担心由于文件过大一次读到内存中造成内存溢出
BufferedReader ，这个方式应该比没有缓冲区的读速度快。因为他是从文件中分批读取内容的。
传统的没有缓冲区的文件读取速度最慢。
如果是小文件很显然BufferedReader要更快，但是大文件我想目前只能用NIO去处理了。
wapigzhu 2012-12-02
- 打赏
- 举报
你是怎么测的？
我刚试过了，一个11M的小说txt文件，
读出来转码并存到ArrayList,
用nio只用50ms左右
用FileReader花了235ms
代码在下面你可以试试看？
nio的
RandomAccessFile file = new RandomAccessFile("b.txt", "r");
FileChannel fileChannel = file.getChannel();
ByteBuffer buffer = ByteBuffer.allocateDirect((int) fileChannel.size());
fileChannel.read(buffer);
buffer.flip();
CharBuffer charBuffer = Charset.forName("utf-8").decode(buffer);
file.close();
BufferedReader bufferedReader = new BufferedReader(new StringReader(charBuffer.toString()));
List<String> list = new ArrayList<String>();
long time = System.currentTimeMillis();
String str = null;
while((str = bufferedReader.readLine()) != null){
list.add(str);
}
System.out.println(System.currentTimeMillis() - time);
BufferedReader bufferedReader = new BufferedReader(new FileReader("b.txt"));
String str = null;
long time = System.currentTimeMillis();
List<String> list = new ArrayList<String>();
while((str = bufferedReader.readLine()) != null){
list.add(str);
}
System.out.println(System.currentTimeMillis() - time);
wannaspring 2012-12-01
- 打赏
- 举报
不只是判断一个字符，有好几个，如果正则是很慢的，不考虑
但是如果 indexOf N次，就会遍历字符串N次，也慢
wannaspring 2012-12-01
- 打赏
- 举报
我已经糊涂了，NIO,DIRECT BUFFER(ALLOCATEDIRET)
CHANNEL
简单说吧，如下代码是我目前知道的最快的方式了，是否有更快的？
NIO结合channel我测试了，比下面的快13%，但是是读到buffer，然后从buffer解码，再读成一行一行，貌似反而更慢了
BufferedReader reader = new BufferedReader(new FileReader("test.txt"));
reader.readLine();
String line = null;
String item[];
while ((line = reader.readLine()) != null)
{
}
wapigzhu 2012-12-01
- 打赏
- 举报
indexOf不能满足这个需求么？
wapigzhu 2012-12-01
- 打赏
- 举报
当然用nio的更快咯，他是一整块内存直接读的
new FileReader("test.txt"))这个是按stream读的
底层操作会比nio的多很多
wapigzhu 2012-12-01
- 打赏
- 举报
public static void main(String[] args) throws IOException {
RandomAccessFile file = new RandomAccessFile("1.txt", "r");
FileChannel fileChannel = file.getChannel();
//这个地方要按文件大小来，如果实在要定长就只能按先前说的，继续往后读到换行符
//或者把已经读过但是没有凑成正行的put回去，然后compact，再继续读
ByteBuffer buffer = ByteBuffer.allocateDirect((int) fileChannel.size());
fileChannel.read(buffer);
buffer.flip();
CharBuffer charBuffer = Charset.forName("utf-8").decode(buffer);
file.close();
BufferedReader bufferedReader = new BufferedReader(new StringReader(charBuffer.toString()));
String str = null;
while((str = bufferedReader.readLine()) != null){
System.out.println(str);
}
}
wannaspring 2012-12-01
- 打赏
- 举报
谢谢，我的意思是和下面代码比，哪个更快？
BufferedReader reader = new BufferedReader(new FileReader("test.txt"));
reader.readLine();
String line = null;
String item[];
for (String line = null; (line = reader.readLine()) != null;)
{
}
wannaspring 2012-12-01
- 打赏
- 举报
另外想再请教一下，readline 后
怎样以最快的方式判断这一行是否含有比如：“你”，“我”等字符串？
特征是“你”“我”等字符串总是出现在行的比较靠右边的位置，比如
"8457TRGDF","FSAFDFFDF","FSFKJDHFSF","哦你好啊","AA"
wapigzhu 2012-12-01
- 打赏
- 举报
什么叫做比BufferedReader慢，
你说的慢是因为平时用的时候，它的底层数据是从FileInputStream里面来的，
BufferedReader本身是跟Stream什么都没有关系的，
它只负责操作你给它的数据，
你给它数据的时候慢，当然它给你结果就慢
你把一个内存里面的字符串直接让BufferedReader读，那还会觉得慢？wannaspring 2012-12-01
- 打赏
- 举报
谢谢，能不能把那个allocatedirect 也就是 direct
buffer也包装进去？
谢谢
wannaspring 2012-12-01
- 打赏
- 举报
这样能比BUFFERRADER快吗？如果不能快，就没意思了
文件有1.2G吧
wapigzhu 2012-12-01
- 打赏
- 举报
public static void main(String[] args) throws IOException {
RandomAccessFile file = new RandomAccessFile("1.txt", "r");
FileChannel fileChannel = file.getChannel();
ByteBuffer buffer = fileChannel.map(MapMode.READ_ONLY, 0, fileChannel.size());
CharBuffer charBuffer = Charset.forName("utf-8").decode(buffer);
file.close();
BufferedReader bufferedReader = new BufferedReader(new StringReader(charBuffer.toString()));
String str = null;
while((str = bufferedReader.readLine()) != null){
System.out.println(str);
}
}
wannaspring 2012-12-01
- 打赏
- 举报
谢谢，测试了你的第二种方法，很慢，比bufferreader慢3.5倍
wannaspring 2012-12-01
- 打赏
- 举报
怎么个OK了?
平凡_幸福 2012-12-01
- 打赏
- 举报
同意
wannaspring 2012-12-01
- 打赏
- 举报
是得，不过没打算多线程同时读一个文件，因为是单硬盘
只想1个线程读文件，然后每读10万行，把这10万行内容分发给别的线程处理
比如3个线程好了，一个线程负责读，另外两个线程负责处理
wannaspring 2012-12-01
- 打赏
- 举报
谢谢，这个我看不懂的
wannaspring 2012-12-01
- 打赏
- 举报
谢谢，第一种方法我测试过，读50M的文本文件大约1.2秒
第二种没用过，更快？
huntor 2012-12-01
- 打赏
- 举报
import java.nio.file.Files;
import java.nio.file.Paths;
import java.nio.charset.Charset;
List<String> lines = Files.readAllLines(Paths.get("D:/Temp", "examples.txt"), Charset.defaultCharset());加载更多回复（7）
