请问一个比较两个文件内容的问题。

[yoshubom]

现在有两个文件，大小都比较大，文件每一行就是一个号码，大概每个文件有一亿多行，现在想编一个程序将两个文件的号码提取到一个新建的文件中并剔除重复的号码。请问有什么做法效率最高？

[whw123456]

沙发～

[xugang_2001]

思路:

读写文件的时候开销很大,所以在读取文件数据的时候要设置一个数据缓冲区,把一个文件中的数据不重复的存到一个数据结构中,再去读取另外一个文件中的号码，逐个比对，算法的话似乎也没有什么好的方法，反正每个数据都要比对一次。

[redlives]

把一个文件中的数据不重复的存到一个数据结构中??

昏，1亿行，就算1亿个int型的也要近100M。

如果同一文件的数据不重复还好点，否则就麻烦了。

[sxlengwa]

敢问 lz 号码都是多少位的？

[FingerStyle]

set<string> setStr;
setStr.Insert(..);

楼主死机别找我啊 -_-b...

[珍惜生命远离CPP]

记得有一本书上第一个讲到的问题这个问题.

如果内存足够大的话,全部读取到内存,然后排序移除相同元素.
也可以,分批读取,每一部分排序,移除相同元素,然后合并排序.比较麻烦了点.

[FingerStyle]

#include <string>
#include <algorithm>
#include <fstream>
#include <set>
using namespace std;
int main()
{
set<string> setStr;
ifstream inf1("1.txt");
ifstream inf2("2.txt");
ofstream outf("3.txt");
string str;
while (getline(inf1, str))
{
setStr.insert(str);
}
while (getline(inf2, str))
{
setStr.insert(str);
}

for (set<string>::iterator iter = setStr.begin();
iter != setStr.end();
iter ++)
{
outf << (*iter) << '\n';
}
}

[nickshen_qidian]

用excel试试

[gangjh]

大文件有可能整個內存都放不下,
解決方法如下,
先拆分文件, 再排序,然後合並.

合並時刪除重復數據.

需要優化的是歸並排序那一部份

[gangjh]

文件排序那一部份, 為了避免頻繁的數據移動.
我這樣做過.
1. 先用mmap到內存,windows下用 CreateFileMapping , MapViewOfFile
2. 再构造一指針數組,存放行在內存中的開始地址與長度.
3. 然後用qsort,得到順序數據.
4. 最後根據指針數組將數據另存文件.

[cceczjxy]

在unix下,用short分别现对两个文件排序.再用2路归并合成一个文件.合并过程中剔除相同的数据.

[gangjh]

unix下用sort與join是可以的.
這麼大的文件不知效率如何