1.5w+
社区成员
如何读写大于5G的文件？
在NTFS格式下的文件可以大于５GB，但是ReadFileEx(WriteFileEx)函数输入的参数最多为4GB(DWORD只要4GB的寻址空间），怎样才能用ReadFileEx(WriteFileEx)来读写NTFS格式下大于5GB的文件呢？
...全文
当前发帖距今超过3年，不再开放新的回复
发表回复
snowx 2004-08-03
不行就试试分段
an_bachelor 2004-08-03
用古典的
FILE* fp = fopen("filename", "w+b");
for (unsigned long n =0, n2 = 0; ++n < 3)
while (n2++ < 0xffffffff)
{
//fread()/fwrite()
}
可不可以呢？个人认为ntfs文件可以大于5g的特性应该由windows支持 变量溢出的问题可以用变通的方法。
FILE* fp = fopen("filename", "w+b");
for (unsigned long n =0, n2 = 0; ++n < 3)
while (n2++ < 0xffffffff)
{
//fread()/fwrite()
}
可不可以呢？个人认为ntfs文件可以大于5g的特性应该由windows支持 变量溢出的问题可以用变通的方法。
DentistryDoctor 2004-08-03
你需要在CreateFile的第6参数组合FILE_FLAG_NO_BUFFERING|FILE_FLAG_SEQUENTIAL_SCAN
HANDLE hFile = CreateFile( tempFileName, GENERIC_WRITE|GENERIC_READ,0, NULL, CREATE_NEW,FILE_FLAG_NO_BUFFERING|FILE_FLAG_SEQUENTIAL_SCAN, NULL );
请仔细阅读MSDN中关于CreateFile的帮助。
HANDLE hFile = CreateFile( tempFileName, GENERIC_WRITE|GENERIC_READ,0, NULL, CREATE_NEW,FILE_FLAG_NO_BUFFERING|FILE_FLAG_SEQUENTIAL_SCAN, NULL );
请仔细阅读MSDN中关于CreateFile的帮助。
gunj 2004-08-03
详细的请参考《Windows核心编程》第17章，内存映射文件
aspnetwuxueyou 2004-08-03
You can also use Address Windowing Extensions (AWE）
aspnetwuxueyou 2004-08-03
CreateFileMapping创建一个section object,
然后把section object的一部分映射到内存MapViewOfFile
section object应用很多的
The executive uses sections to load executable images into memory, and the cache manager uses them to access data in a cached file. You can also use section objects to map a file into a process address space. The file can then be accessed as a large array by mapping different views of the section object and reading or writing to memory rather than to the file (an activity called mapped file I/O). When the program accesses an invalid page (one not in physical memory), a page fault occurs and the memory manager automatically brings the page into memory from the mapped file. If the application modifies the page, the memory manager writes the changes back to the file during its normal paging operations (or the application can flush a view by using the Win32 FlushViewOfFile function).
然后把section object的一部分映射到内存MapViewOfFile
section object应用很多的
The executive uses sections to load executable images into memory, and the cache manager uses them to access data in a cached file. You can also use section objects to map a file into a process address space. The file can then be accessed as a large array by mapping different views of the section object and reading or writing to memory rather than to the file (an activity called mapped file I/O). When the program accesses an invalid page (one not in physical memory), a page fault occurs and the memory manager automatically brings the page into memory from the mapped file. If the application modifies the page, the memory manager writes the changes back to the file during its normal paging operations (or the application can flush a view by using the Win32 FlushViewOfFile function).
zhuzhufox 2004-08-03
CreateFileMapping
esri 2004-08-03
使用内存映射文件.
huwei001982 2004-08-03
关于NTFS格式的大文件, M$应该会有专门的 API 才对
好像 WIN32 裡面單個文件最大就只有 2 G
好像 WIN32 裡面單個文件最大就只有 2 G
Python- 文件读写 文件读写之前需要打开文件，确定文件的读写模式。open 函数用来打开文件，语法如下： open(name [.mode[.buffering]]) open 函数使用一个文件名作为唯一的强制参数，然后返回一个文件对象。模式(mode)和缓冲区...
5G知识总结（关键技术、网络架构、无线网络优化与覆盖、业务测试与验证等） 5G核心网：5GC，5G基站：gNB 4G核心网：EPC，4G基站：eNB 如果把5G的基站接入到4G的核心网中，则构成核心网：EPC，基站：en-gNB 如果把4G的基站接入到5G的核心网中，则构成核心网：5GC，基站：ng-eNB 上行速率：...
vdbench多节点测试文件系统读写 vdbench多节点测试文件系统读写操作步骤：1.首先在每台需要测试的节点上安装java（包含总控节点）2.然后保证每节点的主机名不同，并且最好关闭每台防火墙3.把需要测试的网络存储挂载到每台节点上4.然后依次操作每...
Linux磁盘存储与文件系统 Linux磁盘存储与文件系统磁盘存储磁盘结构磁盘分区文件系统文件系统类型文件系统相关操作创建查看挂载检测和修复卸载RAIDLVM如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个...
FIO 测试磁盘读写 转载来自：... 纯姐测试如下： 随机混合读写（一般线上测试） fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=200G -numjob...
linux中创建超过4g文件的方法-o_largefile linux c 大文件使用 - O_LARGEFILE 2010-07-20 10:09 支持大文件的两种方式： 1、gcc 加 -D_FILE_OFFSET_BITS=64 -D_LARGE_FILE 2、注意一定要定义在include之前 #define _LARGEFILE_SOURCE #define _LARGE...
Linux上管理文件系统 在每次读写数据时盘片旋转，读写磁头被磁臂控制着不断的移动来读取其中的数据。所有的盘片都是同时同步转动，所有的磁头也是同步移动。磁盘在物理上划分了扇区、磁道和柱面。如果划分了分区，则分区是逻辑上柱面的...
你的硬盘有多快？，教你提升硬盘/NAS读写性能 今天我们就来聊一聊机械硬盘 / 固态硬盘 / U盘 / NAS 等设备的理论极限速度是多少，看看读写速度受限到底出在哪个环节，以及如何提升日常所用硬盘的读写速度，让你的硬盘发挥到理想性能。 一、速度基础知识 ...
面向5G的阿里自研标准化协议库XQUIC TCP和QUIC握手阶段 - 伪重传模拟 另一方面，调低初始重传超时会引发伪重传，需要根据用户RTT分布进行取舍，比如初始重传超时调低到500ms，那么RTT大于500ms的用户在握手期间将会多发一个sync报文。 ✎ 减少往返...
Node.js 中 fs 模块使用样例 -- 文件读写 Node.js文件 I/O 是由简单封装的标准 POSIX 函数提供的[1]。 fs(File System)是Node.js的内置模块，可直接通过const fs = require('fs');使用该模块。 fs 模块所有的API都有异步和同步的形式。异步形式始终以完成回...
lustre文件系统管理 一：lustre文件系统操作 1. 为ost指定failover/failout参数类型 比如：在一个lustre文件系统内，某个OST因为RAID故障不能访问，那么客户端连接就会有两种情况 a.failover类型，客户端会一直等待此OST恢复 b.failout...
链接--破解root密码--文件系统 分区 ，格式化，挂载 + 练习题 软链接原文件被删除后，链接文件不可用 硬链接原文件被删除后，链接文件可用 /etc/rc.d/rc.local 必须要给执行权限 /etc/rc.local是一个链接文件，并且开机自动执行命令或者脚本的文件 1 linux系统破解root密码（单...
深入浅出大数据：到底什么是Hadoop？ 这个编程模型，用于大规模数据集（大于1TB）的并行分析运算。 第二年（2005年），Doug Cutting又基于MapReduce，在Nutch搜索引擎实现了该功能。 2006年，当时依然很厉害的 Yahoo（雅虎）公司 ，招安了Doug Cutting...
Linux文件系统和磁盘分区 文件系统与磁盘分区 Linux系统中颇具特色的文件存储结构常常搞得新手头晕脑胀，本节课从Linux系统中的文件存储结构开始，讲述文件系统层次化标准（FHS，Filesystem Hierarchy Standard）、udev硬件命名规则以及硬盘...
分布式文件系统（Distributed File System，DFS） 分布式文件系统（Distributed File System，DFS） 一、什么是分布式文件系统 1、文件系统的定义： 硬盘是计算机最主要的存储设备，数据按扇区存放在硬盘上。硬盘属于硬件，用户无法直接对其进行操作，由操作系统...
分区命令（大于2TB的分区） 无法以读写方式打开 /dev/sr0 ( 只读文件系统 ) 。 /dev/sr0 已按照只读方式打开。 错误 : 无效的分区表 - /dev/sr0 出现递归分区。 忽略 /Ignore/ 放弃 /Cancel? 是因为挂载了光盘，卸载所有...
Apache Pulsar 助力江苏移动重塑 5G 时代计费支撑系统 如果不设限制，随着时间的增加，代价会越来越高， 通过分层存储，在 backlog 中的旧消息可以从 BookKeeper 卸载数据到可无限扩展的廉价云原生存储（例如 Google Cloud Storage、AWS S3）或文件系统，构建高性能的...
RAID管理与恢复误删除文件 RAID管理与恢复误删除文件 一、RAID磁盘阵列概述； 概述：RAID(Redundant Array of Independent Disk 独立冗余磁盘阵列)技术是加州大学伯克利分校1987年提出，最初是为了组合小的廉价磁盘来代替大的昂贵磁盘，同时...
