4.9w+
社区成员
求助，JAVA txt文件数据去重问题
如题，我有个01.txt文件，要去掉里面的重复行并将结果写到1.txt。要如何实施
例如 01.txt文件内容如下(很多重复行)：
A,B,C,D
A,B,C,D
A,B,S,D
S,A,D,F,G
A,B,S,D
最终出来的1.txt文件的内容应该是这样的：
A,B,C,D
A,B,S,D
S,A,D,F,G
例如 01.txt文件内容如下(很多重复行)：
A,B,C,D
A,B,C,D
A,B,S,D
S,A,D,F,G
A,B,S,D
最终出来的1.txt文件的内容应该是这样的：
A,B,C,D
A,B,S,D
S,A,D,F,G
...全文
请发表友善的回复…
发表回复
qq_15599389 2015-05-09
- 打赏
- 举报
结果是错的。
yjn1003cjl 2015-05-05
- 打赏
- 举报
package test;
import java.io.BufferedInputStream;
import java.io.BufferedOutputStream;
import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import java.util.HashSet;
public class Set {
public static void main(String[] args) {
try {
doit();
} catch (Exception e) {
e.printStackTrace();
System.out.println("程序出错");
}
}
public static void doit() throws Exception{
BufferedInputStream fis = new BufferedInputStream(new FileInputStream(new File("E:\\01.txt")));
BufferedReader reader = new BufferedReader(new InputStreamReader(fis,"utf-8"),5);// 用5M的缓冲读取文本文件
BufferedWriter writer = new BufferedWriter(new OutputStreamWriter(
new BufferedOutputStream(new FileOutputStream("1.txt"))));
String line = "";
HashSet<String> set = new HashSet<String>();
while(( line=reader.readLine())!=null){
set.add(line.trim());
}
for (String string : set) {
System.out.println(string);
writer.write(string);
}
}
}
大致这样
qq_15599389 2015-05-04
- 打赏
- 举报
才上千条？假如说一条长度为1K，那一万条也不过10M。现在的电脑哪个没有十兆内存。
大一时，开辟一个长度为100的int数组我都心疼，现在想想，那是想复杂了，那才多少内存了。。。[/quote]
能给个具体的代码吗 
youzi05 2015-05-04
- 打赏
- 举报
才上千条？假如说一条长度为1K，那一万条也不过10M。现在的电脑哪个没有十兆内存。
大一时，开辟一个长度为100的int数组我都心疼，现在想想，那是想复杂了，那才多少内存了。。。
qq_15599389 2015-05-04
- 打赏
- 举报
数据量上千条
qq_15599389 2015-05-04
- 打赏
- 举报
可以给份具体的代码或者伪代码吗？
Chengyajie521 2015-05-03
- 打赏
- 举报
读入，放入set，写出
boybaozi 2015-05-03
- 打赏
- 举报
重复行会聚集在一起吗？
youzi05 2015-05-03
- 打赏
- 举报
如果数据量不太大完全可以用1楼的方法