【mmap】求教此种情况下使用mmap的效率

hazuki9902 2012-01-01 02:29:28

文件大小：64MB左右，大概43万行，每行151字符

操作：对该文本文件每次顺序读出大概10KB打印直到读完

会有多个用户进程同时进行此操作，并且能保证所有用户进程都只是读操作，不写

一种办法是不用mmap，每个用户进程都各自对文件指针操作

另一种办法是以共享、只读、常驻内存模式使用mmap将文件映射到内存，每个用户进程直接访问映射的内存

环境：linux2.6.X CPU：mips或arm 物理内存：256MB

不知道哪种方式相对来说更省资源更快呢？（优先保证资源）

另外有几点不太明白（本人linux菜鸟）：
1、mmap映射后是在系统空间还是在用户空间？
2、多个不同的进程分别对同一文件执行mmap后，是不是任何时刻都只有一份副本在内存中并且进程切换时不会涉及该内存，或者说进程切换时对该内存的维护开销灰常灰常小？（如果是这样的话很爽哦～）
3、页的问题会不会严重影响此种应用？比如：根本不能实现每次打印10KB。页大小按默认4KB算～
4、以上环境和应用，还有什么高效的办法实现吗？

不常上CSDN～也没看到linux专区，借宝地求教～
3天内必结贴散分！

...全文

222 7 打赏收藏转发到动态举报

写回复

用AI写文章

7 条回复

切换为时间正序

请发表友善的回复…

发表回复

hazuki9902 2012-01-01

打赏
举报

[Quote=引用 1 楼 cfjtaishan 的回复:]
1.映射的是在内核的空间。
2.进程的切换和维护产生的开销不小，如果你创建的进程不适当，比如很多事情反而会相反，因为进程之间的切换所占用的资源和时间已经是得不偿失了。
3.那就是占用多个页。我想你在内核中也不见得会申请这么多的空间的，内核空间是宝贵的。
4.你可以尝试使用线程，线程占用资源比较小，切换起来比较快；
[/Quote]
受教了～想进一步问问：
1.映射的是在内核的空间。
没问题

2.进程的切换和维护产生的开销不小，如果你创建的进程不适当，比如很多事情反而会相反，因为进程之间的
切换所占用的资源和时间已经是得不偿失了。
进程切换是难以避免的，因为读文件操作可能只是每个进程中的一个次要任务，多个进程创建后不是只为了干这个的，所以环境是一个既成事实，只能迁就不能改，呵呵。这里所要比较的是两种方法对于切换进程时所花费的开销，对于只有256MB的物理内存来说，换页应该是比较频繁的吧

3.那就是占用多个页。我想你在内核中也不见得会申请这么多的空间的，内核空间是宝贵的。
恩～内核空间的问题可能是个隐患～不知是否为mmap的最大缺点呢

4.你可以尝试使用线程，线程占用资源比较小，切换起来比较快；
线程太麻烦，不搞，呵呵^_^

hazuki9902 2012-01-01

打赏
举报

[Quote=引用 4 楼 qq120848369 的回复:]
不知道你想干什么， open,然后mmap,munmap慢慢挪就行了。
[/Quote]
实现没问题，只是不知道哪种实现起来更舒服～

hazuki9902 2012-01-01

打赏
举报

[Quote=引用 3 楼 anyidan 的回复:]
2、多个不同的进程分别对同一文件执行mmap后，是不是任何时刻都只有一份副本在内存中并且进程切换时不会涉及该内存，或者说进程切换时对该内存的维护开销灰常灰常小？（如果是这样的话很爽哦～）

物理内存里面刚开始只有一份，如果有进程对共享的部分进行了写操作，则此进程将创造一份 copy
[/Quote]
已经说了，不写

qq120848369 2012-01-01

打赏
举报

不知道你想干什么， open,然后mmap,munmap慢慢挪就行了。

AnYidan 2012-01-01

打赏
举报

2、多个不同的进程分别对同一文件执行mmap后，是不是任何时刻都只有一份副本在内存中并且进程切换时不会涉及该内存，或者说进程切换时对该内存的维护开销灰常灰常小？（如果是这样的话很爽哦～）

物理内存里面刚开始只有一份，如果有进程对共享的部分进行了写操作，则此进程将创造一份 copy

鼠 2012-01-01

打赏
举报

1、mmap映射后是在系统空间还是在用户空间？

用户空间可见。

2、多个不同的进程分别对同一文件执行mmap后，是不是任何时刻都只有一份副本在内存中并且进程切换时不会涉及该内存，或者说进程切换时对该内存的维护开销灰常灰常小？（如果是这样的话很爽哦～）

物理内存里面只有一份，但是每个进程映射到的地址是不一样的，所以该切的页表还是得切……
但是一定会比每个进程都去 read 要省内存。

3、页的问题会不会严重影响此种应用？比如：根本不能实现每次打印10KB。页大小按默认4KB算～

这两个问题有关系么？

4、以上环境和应用，还有什么高效的办法实现吗？

我觉得这个办法靠谱。

自信男孩 2012-01-01

打赏
举报

1.映射的是在内核的空间。
2.进程的切换和维护产生的开销不小，如果你创建的进程不适当，比如很多事情反而会相反，因为进程之间的切换所占用的资源和时间已经是得不偿失了。
3.那就是占用多个页。我想你在内核中也不见得会申请这么多的空间的，内核空间是宝贵的。
4.你可以尝试使用线程，线程占用资源比较小，切换起来比较快；

本课程采用国产SOC瑞芯微RV1126实现USB摄像头功能。本课程特点如下：1、本课程适合想入门瑞芯微SOC的初学者。2、本课程从搭建编译环境开始讲解，由浅入深，最终实现USB摄像头功能。3、本课程主要内容包括SDK环境搭建和编译、MMAP和USERPTR方式获取图像、USB和UVC协议、USB摄像头代码讲解4、本课程为项目实战课，学习完本课程，可以在增加项目经验的同时充实简历内容

mmap函数实现把一个文件映射到一个内存区域，从而我们可以像读写内存一样读写文件，他比单纯调用read/write也要快上许多。在某些时候我们可以把内存的内容拷贝到一个文件中实现内存备份，当然，也可以把文件的内容映射到内存来恢复某些服务。另外，mmap实现共享内存也是其主要应用之一，mmap系统调用使得进程之间通过映射同一个普通文件实现共享内存。关于mmap的内容请看《Unix环境高级编程》12章

在讲述文件映射的概念时, 不可避免的要牵涉到虚存(SVR 4的VM). 实际上, 文件映射是虚存的中心概念, 文件映射一方面给用户提供了一组措施, 好似用户将文件映射到自己地址空间的某个部分, 使用简单的内存访问指令读写文件；另一方面, 它也可以用于内核的基本组织模式, 在这种模式种, 内核将整个地址空间视为诸如文件之类的一组不同对象的映射. 中的传统文件访问方式是, 首先用open系统调用打开文

这里写链接内容问题描述Java程序运行过程中抛出java.lang.OutOfMemoryError: unable to create new native thread，如下所示： [java] view plain copy java.lang.OutOfMemoryError: unable to create new native thread at java.lang.Th

几周前我曾提到，我被项目组分配去做了一些探究linux下内存管理机制的活儿。因为我们的产品遇到了一些与之相关的“诡异”问题。这些问题以及相关情况可以概括如下：先介绍一下相关的背景。由于我们是3D软件，所以用户经常会有“导入/导出”各种geometry的需求。而一个存储这些数据的文件，可能含有不止一个geometry，而且每个geometry中也可能存在着成千上万个面片/多边形