问个多线程写文件的问题，使用fwrite

2012-09-16 12:28:03 1.1k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

C语言文件操作全攻略：从fopen到fwrite的实战细节数据持久化是软件开发的基础需求，文件读写作为最通用、最底层的持久化方案，在日志存储、配置管理、数据交换等场景中无处不在。C语言通过流（stream）抽象所有输入输出，配合缓冲区机制提升性能，同时引入了文件指针来管理文件状态。熟练掌握fopen的多种模式、理解文本流与二进制流的差异，是避免数据损坏和跨平台兼容问题的关键。围绕fgets、fscanf、fread等核心API，实际工程中还需关注返回值检查、缓冲区刷新、文件定位与异常处理。本文从文件操作原理出发，结合配置文件读写完整案例，深入剖析常见陷阱与排查技巧阅读详情

我对文件操作这一块一直鲜有涉及，还请有经验者指教，问题如下：

我在做一个文件传送系统，c/s结构。支持文件分块多线程下载，比如我有两个线程，文件总大小200K，则开始下载之前，每个线程用fopen(..., "w+b");得到FILE结构，是有序的，所以是线程1创建并打开文件，线程2（包括后面的线程，如果有的话）打开文件。

当开始数据传送之前，线程1 fseek到0的位置，线程2 fseek到100K的位置（两个seek已经在多线程中的，先后无法保证，甚至同时），之后，线程1和2完全异步的接收数据，并fwrite到FILE，每个线程收完数据之后调用fclose（也是完全异步的，在多线程之中），所有线程都结束之后，文件传送完成。

问题表现：
在win7 64bit下，隅尔会出现接收的文件内容不正确，但都是前面的内容不正确，就是线程1负责的部分，而且不正确的数据的数量也不确定，但总是最前面的不正确，比如线程1负责100K的数据，有时候是0-10K不对，有时候是0-20K不对。

在fedora 17 64bit下，从来没有出现过问题，ubuntu 12.04 LTS 64bit还没来得及试，试了我再补充上。

再也没有在其它环境下试过了。

请问我这个问题要怎样解决？

...全文

华为防火墙双线路配置实战：5分钟搞定主备自动切换（含健康检查避坑指南）本文详细介绍了华为防火墙双线路配置实战，包括主备自动切换和健康检查机制的优化技巧。通过智能健康检查机制，华为防火墙能实现毫秒级故障自动切换，确保网络高可用性。文章提供了从架构设计到实战配置的全流程指南，并分享了常见配置误区与解决方案，帮助中小企业快速搭建稳定可靠的网络架构。阅读详情

youngwolf

VC/MFC 16,550 成员 421,606 内容

+ 关注 + 加入社区

切换为时间正序

o桑相o 2015-05-22

打赏
举报

肯定会出问题，假设有两个线程A和B，都要写文件，假设都有如下代码 n: fseek(file,pos,SEEK_SET); n+1 :fwrite(buffer,1,len,file); 出问题的情况： A线程执行到第n行的时候，即将执行n+1行代码之前，这时B线程也执行了第n行，这时指针的位置就发生了变化； A线程再执行n+1行时候写入的地方就变成了B线程fseek的位置这是典型的多线程编程会出现的问题，通常的做法是，写文件由一个单独的线程来完成，其它线程将要写的内容包括位置等信息放入写入队列里面，由写文件的线程从队列里面取内容来写入，访问此队列时需要加锁

耿然 2014-03-04

打赏
举报

感觉可能不是文件接收端的问题，是发送端的问题，fread那边。

看不见的裂痕 2012-09-17

打赏
举报

[Quote=引用 8 楼的回复:]
能否确定两个线程打开文件的时间是在任一个线程写文件的时间之前？

可能是一个线程打开文件后写了20个字节的内容，然后另一个线程也打开了文件，你用的是wb+模式，文件内容全部被清空了。

这样就会出现文件开头N个字节都是为0x00的情况。
[/Quote]

有可能，楼主把open参数贴下看看

morebread 2012-09-17

打赏
举报

能否确定两个线程打开文件的时间是在任一个线程写文件的时间之前？

可能是一个线程打开文件后写了20个字节的内容，然后另一个线程也打开了文件，你用的是wb+模式，文件内容全部被清空了。

这样就会出现文件开头N个字节都是为0x00的情况。

chayedanwc 2012-09-17

打赏
举报

不同区块分别保存多个临时文件，完成后将多个临时文件拼为完整的文件。

youngwolf 2012-09-17

打赏
举报

伪代码大概为：
for (分块数)
{
fopen
start a thread
}

在把第一个fopen改为w+b，后面的改为r+b的时候（上周日），我也觉得问题找到了。没想到还是不行，难道当时我在判断第一个的时候，手误写错了，比如0写成1之类，我会继续在win7上测试。

youngwolf 2012-09-17

打赏
举报

参数的确有点问题，但改了问题还是有（也是随机成功，随机失败）。
我打开文件是顺序的（在一个线程里面打开所有文件，但接收数据和写文件就完全在不同的线程里面了），但的确是有可能第一个线程打开了文件，然后写了数据，第二个线程才打开文件，所以后来改为第一个用w+b，第二个用r+b，这样问题仍然没有得到解决。

后来报着试一试的态度，在fclose之前加了个fflush，奇迹般的没有问题了，这就更让我不放心了，但到目前为止，问题的确没有再次出现。msdn上说的很清楚，fclose会刷新缓存的。而且在linux下也不需要加fflush，只是在win7下才需要。

Eleven 2012-09-16

打赏
举报

你所说的文件内容不正确指的是什么？改写的数据没有写完整还是什么的？

看不见的裂痕 2012-09-16

打赏
举报

大神，注意使用flush

miliggate 2012-09-16

打赏
举报

这个貌似我也出现过，
解决方法是保存到一个队列里，然后再输出

hotpos 2012-09-16

打赏
举报

一般0 表示这块数据没写.

youngwolf 2012-09-16

打赏
举报

我是多线程用不同的文件符（FILE*）操作同一个文件，每个线程操作文件的不同块，不会交叉。

youngwolf 2012-09-16

打赏
举报

回一楼，我有正常fclose的（它会自动flush的，平时我并没有马上强制flush的需求）。如果是因为多线程的问题，加个flush也不能解决问题，因为fwrite后面紧跟一个flush，并不能保证它们的原子性。

回二楼，谢谢你的提醒，我还真的少说了一点，出错的文件内容全是0。

奇怪之处有以下：
lunux下没事；
只有第一个线程（就是写文件最前面一块的线程）写的数据出错；
出错的数据总是0，不是随机；

注：
数据个数不出错，就是得到的结果的大小与原始文件完全一样，一字节不差。
fwrite之后，我以检测返回值的，也正确（写入个数据量等于fwrite中参数指定的量）。

问个多线程写文件的问题，使用fwrite

相关推荐