C# 读取大文件～急

2011-08-27 10:04:15 540 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

用FileStream以分页方式读取超大文件的性能试验作者：野比（conmajia@gmail.com）时间：May, 2012 封面图片为野比原创，请勿未经允许私自引用 Read extreme large files using paging by Nobi Conmajia (conmajia@gmail.com) May 15th, 2012 我们在编程过程中，经常会和计算机文件读取操作打阅读详情

最近一直在搞文件(cap格式)的读取解析，程序在解析大文件时就挂了。。。
目前我的程序500M以下的文件可以正常读取解析。速度和性能还可以接受（200M 耗时20S左右）。但500M以上的话，内存增长导致内存溢出的问题。使的我很郁闷，始终没解决。在此向各位高手请教～～大家一起来学习。

程序中我使用了：分块解析一个大文件和多线程。之前查过有别人说用到“内存映射”技术。本人刚接触C#，对那个技术还不了解。希望各位歌手指点！！！

...全文

C#文件操作集合六（文件上传、下载）本节实例讲述了C#实现的文件上传下载工具类。分享给大家供大家参考，具体如下：1、上传（FileUpload控件）2、上传（二进制流方式上传）3、普通下载4、分块下载5、支持大文件、续传、速度限制、资源占用小的方式下载。阅读详情

jglie

C# 111,128 成员 642,537 内容

+ 关注 + 加入社区

切换为时间正序

hwbox 2011-08-31

打赏
举报

用文件位图解决不了么？或者你的程序就是要求一次性入内存？

sdl2005lyx 2011-08-31

打赏
举报

“cap”是什么格式的文件？“在读取1G以上的文件时，内存和数据如何申请和保存呢”，
的确，通常的做法都是完整读入内存，再进行解析，这里我提供一个思路：

XmlReader 类，听说过吧，它就是为解决XmlDocument读大的xml文件，须一次性读入内存带来的副作用而产生的。它不需要一次性读入，提供 XML 数据进行快速、非缓存、只进访问的读取器，每次读入一个节点，由应用来决定解析！

楼主，你可以通过反射器看看XmlReader 的Read函数如何实现的，理解后，写出自己的cap流模式解析类。

ycproc 2011-08-27

打赏
举报

这个要看怎么具体的情况了
也许转化的时间都又浪费了

jglie 2011-08-27

打赏
举报

下面是我读文件的代码

private const int bufferSize = 1024 * 1000; // 定义每次读取文件大小为 1024 * 100=10M
private void SplitPacketParse()
{
FileStream fileStream = new FileStream(fileName, FileMode.Open, FileAccess.Read);
byte[] ReadArray = new byte[bufferSize];
byte[] HeaderData = new byte[24];

fileStream.Read(HeaderData, 0, 24);
int incnum = fileStream.Read(ReadArray, 0, bufferSize);

while( incnum > 0)
{

ParseOff(); //
......
// 再此读文件
incnum = fileStream.Read(ReadArray, 0, bufferSize);
}
fileStream.Close();
}