用内存映射文件创建大文件并随机写满导致机子卡死的问题

linyanxin2007 2011-07-22 10:57:30

小弟创建了一个4G文件，一次256K地随机写满，所以每次用MapViewOfFile映射256K，写完后用UnmapViewOfFile释放视图，这样子循环，写到3G大小左右的时候，就会变得很慢，我查了下是卡在memcpy那里，不知是否内存耗尽的问题，希望有此经验的解答一下，顺便给个解决方法。
ps:我的机子内存4G，创建1G或2G速度都很快，只要几秒。

...全文

265 11 打赏收藏转发到动态举报

写回复

用AI写文章

11 条回复

切换为时间正序

请发表友善的回复…

发表回复

clz0502 2013-07-01

打赏
举报

那用UnmapViewOfFile,怎样使内存马上释放呢？

wuxiao0313 2012-10-13

打赏
举报

memcpy确实有卡死的情况

linyanxin2007 2011-07-23

打赏
举报

经过实践猜想，UnmapViewOfFile并没马上释放内存资源，而是交由系统把视图里的数据写回磁盘，导致了资源释放缓慢。UnmapViewOfFile就像一个异步的函数，马上返回成功，但其实是由系统来完成后续的工作，在内存申请快速而释放缓慢的情况下，内存很快就会耗尽。
欢迎拍砖和指导。

赵4老师 2011-07-22

打赏
举报

读大文件，偶只用_lseeki64!

linyanxin2007 2011-07-22

打赏
举报

[Quote=引用 6 楼 wzx19840423 的回复:]
char* buff = new char[piecesize];
memset(buff, 0xff, piecesize);
memcpy(pbFile,buff,piecesize);
delete[] buff;
这段问题太大，没看出buff有什么用，piecesize每次取值是多少？楼主你这结帖率我也不想多说了
[/Quote]
这段是通过写映射来写文件啊，每次写256K

强迫症专用头像 2011-07-22

打赏
举报

char* buff = new char[piecesize];
memset(buff, 0xff, piecesize);
memcpy(pbFile,buff,piecesize);
delete[] buff;
这段问题太大，没看出buff有什么用，piecesize每次取值是多少？楼主你这结帖率我也不想多说了

linyanxin2007 2011-07-22

打赏
举报

LARGE_INTEGER liOffset = {0};
int* iarray = new int[uiPieceNum];
RandomIntArray(iarray, uiPieceNum); //得到一个随机数序列，按该序列来写满
for (int i = 0; i < uiPieceNum; i++)
{
int index = iarray[i];
liOffset.QuadPart = index;
liOffset.QuadPart *= PIECESIZE;
//获取欲写入的字节数
piecesize = PIECESIZE; //#define PIECESIZE (256*1024)
if (index + 1 == uiPieceNum && filesize%PIECESIZE != 0)
{
//获取最后一块的大小
piecesize = (unsigned int)(filesize%PIECESIZE);
}

//创建视图并写视图
PBYTE pbFile = (PBYTE)MapViewOfFile(hFileMapping,
FILE_MAP_WRITE,
(DWORD)(liOffset.HighPart),
(DWORD)(liOffset.LowPart),
piecesize);
if (NULL == pbFile)
{
cout << "MapViewOfFile error: " << GetLastError() << endl;
CloseHandle(hFileMapping);
return false;
}

char* buff = new char[piecesize];
memset(buff, 0xff, piecesize);
memcpy(pbFile,buff,piecesize);
delete[] buff;
if (!UnmapViewOfFile(pbFile))
{
cout << "UnmapViewOfFile error: " << GetLastError() << endl;
CloseHandle(hFileMapping);
return false;
}

}
CloseHandle(hFileMapping);
基本代码如上，不知道是不是资源没释放的原因

强迫症专用头像 2011-07-22