磁盘文件 多次读取,每次读固定小下 与 一次读取全部 性能高低

[tmpacc]

如果磁盘上有一文件大小为2MB,所有处理过程以一行为单位
1. 每次读取一行(小于512B), 处理,再次读取一行,再处理.....直到处理完(N次)
2. 每次读取固定缓冲区大小,如(8192KB)
3. 一次读取2MB,处理

这两种方式,哪种效率高?


我个人感觉,第3种方式效率最低,因为占了太多内存.

看了一些文章说多次读写磁盘会有性能瓶颈,

但我想不明白,为什么会这样,因为我觉得,不管哪种方式,都是从磁盘上读取2MB的数据,对磁盘的访问量都是一样的.有些文章说磁盘读写是有缓冲的,也就是说不管你一次读取1字节,还是1MB字节,读写函数每次读写的数据量都是一样的.

换个说法就是,假设文件大小为2MB,磁盘读写以4KB为单位,那我现在要读一行(512B)的时候,读写函数仍然会读4KB,--读完整个文件发生了2MB/4KB次操作;
如果我现在要读取固定缓冲(40KB),那么磁盘读写操作会发生10次,每次仍是4K,--读完整个文件发生了2MB/4KB次操作
如果我现在要读取全部,那么磁盘读写操作会发生2MB/4KB次,每次仍是4K, --读完整个文件发生了2MB/4KB次操作
不知道我的分析对不对.

[mengde007]

学了操作系统就知道这是不一样的；磁盘的磁头是要移动的；

[猫已经找不回了]

如果磁盘上有一文件大小为2MB,所有处理过程以一行为单位
1. 每次读取一行(小于512B), 处理,再次读取一行,再处理.....直到处理完(N次)
2. 每次读取固定缓冲区大小,如(8192KB)
3. 一次读取2MB,处理

基于缓存的原理，你这3个操作，在本质上效率基本没有区别。

[tmpacc]

[Quote=引用 1 楼 mengde007 的回复:]
学了操作系统就知道这是不一样的；磁盘的磁头是要移动的；
[/Quote]
这点我倒没考虑到,你的意思应该是说,我先读取一部分数据,处理的过程中,磁头可能因为读写其它文件而移到很远的地方,当我再次需要读的时候,它又回从远处再移回来
不知道我的理解对不对

但是我现在想,文件的每一块在磁盘上都不是连续存放的,哪怕我一次性读这个文件,也有可能读文件的A块,磁头在C点,而读B块,磁头又移动D点,而C与D距离是磁盘的直径
当然我举了一个极端的情况

[tmpacc]

不知道这个文问题不是等同于问:fgets 与 fread 哪个效率更高

[liushac]

顶下

[tmpacc]

或者问,如果我只需要按行处理数据的话,不对原文件做任何修改,是不是用fgets最合适
但我看到很多源码里面读取行操作,全是自定义函数, fgetc 一个字符一个字符的读,直到换行符...
这个效率与fgets一样吗?

[pipisi]

如果文件比较小，第3种方法应该是最好的；

否则，个人认为第2种比较好，当然缓冲区大小不同，性能也不同，经验值4k的整数倍比较好

[tmpacc]

[Quote=引用 7 楼 pipisi 的回复:]
如果文件比较小，第3种方法应该是最好的；

否则，个人认为第2种比较好，当然缓冲区大小不同，性能也不同，经验值4k的整数倍比较好
[/Quote]
我想使文件处理具有通用性,不关心文件具体大小,我所列出的大小都是举例子的

[pipisi]

没有通用的，具体问题具体分析

[tmpacc]

[Quote=引用 9 楼 pipisi 的回复:]
没有通用的，具体问题具体分析
[/Quote]
那你应该看看cat, grep, gawk, sed等有没有文件大小限制

[liang118038liang]

Open后没关闭，基于缓存的原理应该没区别 ！！