如何用fstream提高文件读写的效率

2010-05-10 12:05:58 1.3k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

C++利用缓冲区来提高读写文件的效率 C++通过设置缓冲区，可以减少对底层操作系统的频繁调用，将数据先缓存到内存中，然后批量写入文件，从而提高了写入的效率。阅读详情

我有个文件，一行一个整数，总共有10w个数，也就是10w行，我用ifstream进行读取,然后对这10w个数进行排序，再将排好的这10w个数用ofstream写回文件中，其中读写文件的代码如下：



file1.open("D:\\number.txt",ios::in);

if (!file1)

    return -1;

int m = 100000;

int a = 0;

int i = 0;

while (i < m)

{

    file1 >> a;                //这样效率会不会太低？？？

    //把a放进位图中

    i++;

}



i = 0;

file2.open("D:\\result.txt", ios::out);

if (!file2)

    return -1;

while (i < n)    //遍历位图

{

    if (test(i))

    {

        file2 << i << endl;    //这样效率会不会太低？？？



    }

    i++;

}

如上面两处读写文件地方注释的，每次读一行做一次操作，或者做一次操作再写一次文件，这样效率太低，怎么样才可以提高效率，减少I/O次数？

...全文

Ubuntu新手必看：3种方法快速查看和编辑JSON文件（附jq安装指南）本文为Ubuntu新手详细介绍了三种查看和编辑JSON文件的核心方法：命令行利器jq、灵活脚本Python以及直观的图形化编辑器（如VS Code）。文章重点解析了jq的安装与核心用法，并对比了各方案的优缺点，帮助用户根据快速查询、复杂处理或直观编辑等不同场景，选择最合适的工具，从而高效处理JSON数据。阅读详情

huagong_adu

C++ 语言 65,214 成员 250,514 内容

+ 关注 + 加入社区

切换为时间正序

赵4老师 2010-05-11

打赏
举报

赵4老师 2010-05-11

打赏
举报

[Quote=引用 20 楼 huagong_adu 的回复:]
引用 18 楼 zhao4zhong1 的回复:
效率比上面代码更高的恐怕只有用汇编了。

你确定你的这个读写文件的效率比ifstream的高？你的也是一行行读一行行写的吧，这样不是一样要很多次I/O？还有你的qsort的时间复杂度是多少？我的位图是O（n）的，你确定qsort可以在O（n）内做完？
[/Quote]
VC调试时按Alt+8,TC或BC用TD调试,打开汇编窗口看每句C对应的汇编不就啥都明白了吗。
（Linux或Unix下应该也可以在用GDB调试时,看每句C对应的汇编。）
一行行读一行行写对磁盘来说I/O仍然是每簇（通常为32KB）一次！
计算机组成原理→DOS命令→汇编语言→C语言（不包括C++）、代码书写规范→数据结构、编译原理、操作系统→计算机网络、数据库原理、正则表达式→其它语言（包括C++）、架构……

Proteas 2010-05-10

打赏
举报

在 Windows 系统下，直接用内存映射文件读，很快。

白云飘飘飘 2010-05-10

打赏
举报

如果使用i/o stream的话，效率也就是这样，可以考虑改用C的文件操作。和buffer没有关系，因为i/0 stream内部已经使用了buffer

AAA20090987 2010-05-10

打赏
举报

菜鸟来学习一下。。。

huagong_adu 2010-05-10

打赏
举报

[Quote=引用 1 楼 wuyu637 的回复:]
每次读入的buffer大一些。

你应该先把文件里的东西读到一个内存的buffer中，然后解析。而不是一个一个从文件里读出来
[/Quote]
你的意思是开一个字符串的buffer，然后再解析这个buffer的数字吗？具体可不可以说明白点？

taodm 2010-05-10

打赏
举报

呃，那就别用fstream，用C标准函数fread等。

wuyu637 2010-05-10

打赏
举报

每次读入的buffer大一些。

你应该先把文件里的东西读到一个内存的buffer中，然后解析。而不是一个一个从文件里读出来

huagong_adu 2010-05-10

打赏
举报

难道就没人精通这个吗？大家交流学习下啊

huagong_adu 2010-05-10

打赏
举报

[Quote=引用 19 楼 cyblueboy83 的回复:]
ｆｓｔｅａｍ好像提高不了效率呀
内存映射对大文件也许能提高些效率，可以试试
[/Quote]
内存映射文件怎么用，可以给个例子吗？

huagong_adu 2010-05-10

打赏
举报

[Quote=引用 18 楼 zhao4zhong1 的回复:]
效率比上面代码更高的恐怕只有用汇编了。
[/Quote]

你确定你的这个读写文件的效率比ifstream的高？你的也是一行行读一行行写的吧，这样不是一样要很多次I/O？还有你的qsort的时间复杂度是多少？我的位图是O（n）的，你确定qsort可以在O（n）内做完？

herman~~ 2010-05-10

打赏
举报

ｆｓｔｅａｍ好像提高不了效率呀
内存映射对大文件也许能提高些效率，可以试试

赵4老师 2010-05-10

打赏
举报

效率比上面代码更高的恐怕只有用汇编了。

赵4老师 2010-05-10

打赏
举报

#include <stdio.h>

#include <stdlib.h>

FILE *f;

int i;

int v;

int n;

int m[100000];

int compare(const void *a,const void *b) {

	return (*((int *)a)) - (*((int *)b));

}

int main() {

    f=fopen("D:\\number.txt","r");

    if (NULL==f) {

        printf("Can not find file D:\\number.txt!\n");

        return 1;

    }

    i=0;

    while (1) {

        if (feof(f)) break;

        if (1==fscanf(f,"%d",&v)) {

            m[i]=v;

            i++;

            if (i>=100000) break;

        } else {

            fscanf(f,"%*c");

        }

    }

    fclose(f);

    n=i;

    qsort(m, n, sizeof(int), compare);

    f=fopen("D:\\result.txt","w");

    if (NULL==f) {

        printf("Can not create file D:\\result.txt!\n");

        return 1;

    }

    for (i=0;i<n;i++) fprintf(f,"%d\n",m[i]);

    fclose(f);

    return 0;

}

knop1027 2010-05-10

打赏
举报

学习学习~~~~~~~~~~

赵4老师 2010-05-10

打赏
举报

用纯C
fopen
fread或fscanf
qsort
fwrite或fprintf
fclose
不要用C++

记不得哪位C++大牛在哪本学习C++的书的前言里面说过
“用C语言1000行源码能完成的工作千万不要用C++重写！”

向立天 2010-05-10

打赏
举报

有必要的话可以考虑内存映射文件

knop0211 2010-05-10

打赏
举报

学习学习~~~~~~~~~~

pengzhixi 2010-05-10

打赏
举报

用C标准的I/0函数吧

akonlbjrd 2010-05-10

打赏
举报

用cstdiofile一行一行一行的读保存到vector里面在写回去。。。再用c++标准算法排序。。写回去。。

加载更多回复（4）

如何用fstream提高文件读写的效率

相关推荐