I/O处理中的算法和编程技巧

[HanDiShenNiu]

本人最近在做实验中要求对超大文档进行处理，两个文档都有近20G左右。这两个文档是我

在linux下生成的，生成时仅用了1个小时，语言为c，是个开源的程序。
但是本人把数据拷贝 到windows下用c++标准库中的fstream类对文件进行修正，形成最终

我需要的格式的文件，其过程大致为：
ifstream reader;
ofstream writer;
string word;
while(reader>>word)
{
if(word 符合我们的要求)
writer<<word;
}
reader.close();
writer.close();
没有用其它什么技术，多线程啊什么都没有用。所以我处理其中一个20G文件用了12个小时

。哭啊，跳楼的心都有...怎么差距这么大呢？
（注：linux那台机器的配置比windows稍高一点，但是不多...）
还有就是我的这个处理程序内存占用只有512k，但是cpu总是狂飙的98%，有什么办法可以

把cpu的占用率降下来呢？
在文件操作的时候有没有什么值得注意的地方啊？有什么资料讲述这方面的编程算法和技

巧的没？比如博客啊，书籍啊，论文啊 ...
小弟不胜感激...

--

[jcwKyl]

我在google上用“c++ i/o performance”搜索了一下，其中codeproject上有一篇文章http://www.codeproject.com/KB/files/EZUTF.aspx就是介绍这个的，文章一开始有一张截图，显示他的程序在7秒内copy完成一个110M的文件。不知道是不是对你有帮助。

[zhaojia268115]

使用intel编译器，或是openmp优化一下算法，可能编译器处理你的算法时优化有问题

[SearchLife]

up

[FancyMouse]

mingw的iostream/fstream不是很慢的么？

[jcwKyl]

同样是用上面的那个关键字搜索，有一篇文章就专门把C, C++,　和lisp语言的I/O效率作了一个比较。C使用scanf/printf，C++使用cin/cout，从运行结果看C的效率比C++的效率快很多倍，而且C++如果使用char数组的话则又比使用string快了一些。

[HanDiShenNiu]

正在阅读jcwKyl提供的那份源代码资料...
通过对比，fstream+stream确实慢很多。大家在写程序时，除了选择语言和结构之外，还有没有其它心得呢？比如多线程之类的...总觉得单纯是语言的话，差距不会有这么大啊...

[langzi86]

建议换实现方法，单一的IO操作本来就是系统瓶颈，使用文件映射方法实现，内存操作速度快！

[tangshuiling]

mark!

[jcwKyl]

[Quote=引用 7 楼 langzi86 的回复:]
建议换实现方法，单一的IO操作本来就是系统瓶颈，使用文件映射方法实现，内存操作速度快！
[/Quote]
嗯，以前也一直听说内存映射文件就是用来解决超大文件的读写的。不过我从来没有处理过20G这么大的文件，以前倒是写过一个可用的程序，使用内存映射文件打开100多M的文件进行处理，非常快，如果使用普通的文件I/O的话，由于我的电脑内存只有128M，速度慢的吓人。昨晚我用文件映射的方法打开一个1G的文件进行读取，感觉几乎是没有延迟，不知道是不是我的程序写错了。总之，内存映射文件让人太不可思议了。我没有这方面的太多经验，内存映射文件应该是一种值得尝试的方法。