C#处理大文本文件,如何高效去重复?
夏天的枫 2017-11-12 05:11:14 现有一个2000W行的文本文件txt1,
又有一个400W行的文本文件txt2
txt1的数据格式如下
x,y,id
txt2的数据格式如下
id,address
2中的id都是可以在1中找到的。
现在的实现思路就是简单的加入内存list,并利用linq的firstordefault方法进行循环去重,无奈效率实在低下(我跑了一个小时才4W行左右)
现在目的一是想将txt1中id在txt2中出现的去除掉
目的二是想把txt2中数据重组 弄成id,x,y,address这样的格式
如何更加高效的去做呢?