vb6 怎么很快的读取数据量大的TXT文件

2010-07-05 10:57:58 1.8k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

1.2 从“跟网”到“构网”：技术范式的历史性转变新型电力系统面临"双高"特征带来的稳定性挑战，促使并网控制技术从"跟网型"向"构网型"范式转变。传统跟网型变流器作为受控电流源依赖强电网，存在短路电流能力有限、易失稳等缺陷；而构网型变流器模拟同步发电机特性，作为受控电压源具备自主建立电压/频率、提供虚拟惯性、增强短路容量和改善系统阻尼四大核心能力。这一技术范式转变使变流器从电网跟随者变为构建支撑者，成为解决新能源大规模接入稳定性的关键。阅读详情

vb6 怎么很快的读取数据量大的TXT文件
1）测量仪器测量数据保存在仪器的内存卡中，保存格式为TXT文件
2）数据一组一组的按顺序存储如：AA234567A3B46823BBAA234567A3B46823BBAA234567A3B46823BB.......
3）由于是按秒存储txt文本比较大，一分钟就快到0.2兆了，一天下来数据很大几百兆了
4）请教VB高手如何读取TXT中数据较快？怎么样的解决方案较好

...全文

【RT-DETR有效改进】计算训练好权重文件对应的FPS、推理每张图片的平均时间（科研必备）本文给大家带来的改进机制是利用我们训练好的权重文件计算FPS，同时打印每张图片所利用的平均时间，模型大小（以MB为单位），同时支持batch_size功能的选择，对于轻量化模型的读者来说，本文的内容对你一定有帮助，可以清晰帮你展示出模型速度性能的提升以及轻量化的效果（模型大小），对于以提高精度为目的的读者本文也能够帮助大家展示出现阶段的模型速度指标。所以本文的内容是十分有用的机制，对于大家发表论文来说，下面的图片为运行后的效果可以看到，该有的指标均已打印（本文内容为我独家创新，全网无第二份）下面是效果图和文阅读详情

hbutwzc

VB基础类 7,788 成员 197,583 内容

+ 关注 + 加入社区

切换为时间正序

专注编程优化20年 2011-09-08

打赏
举报

[Quote=引用 2 楼 a1875566250 的回复:]
俺写的一个简单的文件读取函数。。。很潦草就是了，无聊无聊写的。。。

VB code
Private Declare Function OpenFile& Lib "kernel32" (ByVal FileName As String, ByVal OFs As Long, ByVal Flags As Long)
Private Declare Function NtRea……
[/Quote]333

lyserver 2010-07-07

打赏
举报

自己按块读数据，最好要考虑内存对齐和字符边界，否则，会出现半个汉字的问题。

lyserver 2010-07-06

打赏
举报

使用映射的最大好处是可以使用模拟指针来把数据地址绑定到数组中，使代码简洁易懂，而且效率也不错。

lyserver 2010-07-06

打赏
举报

[Quote=引用 12 楼 myjian 的回复:]
看给出的示例内容,貌似是[AA][数据内容][BB]这样的格式,无物理分隔符,是内容逻辑分隔.

那么,如果其中的[数据内容]长度是一定的话,则可以参考上面10楼的方案,代码会很简单.

如果长度不一定,那就只有自己扫描这段内容了.

不过无论哪种方案,都有个读文件的问题,因为关键在于文件很大,能上G,那么我觉得就最好使用分段读取的方案,比如一次读取10M进来处理.

以前我在处理……
[/Quote]
遇到过，VB使用内存映射有一些内存限制，不像C++编译后内存是可预见的，而VB会把低端内存中某些高端地址保留给自己使用了，导致可用的连续地址不足1G，如果映射超过了500M，就很可能出问题。

of123 2010-07-06

打赏
举报

我处理大文件一般用 Binary 方式打开。这样，打开文件时不必等待操作系统读取整个文件。每次读取并处理 4K 左右还是很快的。

对于定长记录的文件，最好每次读取记录长度的整倍数。

嗷嗷叫的老马 2010-07-06

打赏
举报

好象一般硬盘速度能达到60M每秒的读取速度,写入为30M左右.

这样的话,一次读入的大小在10M左右应该问题不大.

但还有另一个问题,就是处理数据的时间.

这部分要好好写,VB6里面字符串操作如果不注意的话是能写出非常非常慢的代码的......

ldy888 2010-07-06

打赏
举报

楼主如果要一块块取出来处理的话，每一块数据不要太大
这个的代码应该能用。



Sub test楼主()

    Dim B() As Byte

    s = "d:\楼主的文件.txt"    'ANSI 码  几百兆的文件

    t = Timer

    Close

    F = FreeFile

    r = 20                             '取第20块记录

    k = 30                            '30条算一块

    ReDim B(1 To 18 * k) As Byte

    Open s For Binary As F

    Get F, (r - 1) * 18 * k + 1, B

    Close F

Debug.Print StrConv(B, 64)

End Sub

ldy888 2010-07-06

打赏
举报

我用了个8G的文件试了下，如果只取某一段值的话还是很快的。



Sub tset8g()

Dim b(1024& * 1024) As Byte, bb(1024& * 1024) As Byte

s = "g:\cp090822.GHO"  '8G 的Ghost文件 ,超出2G， lof（1） 已经取不到值了

t = Timer

Open s For Binary As 1

 Get 1, , b

 Get 1, 1024& * 1024 * 1024, bb ' 在1G 处 取1M 字节

Close

Debug.Print Timer - t, "耗时也很短 0 秒 ，VB的计时不是很准 仅参考 "

'Debug.Print b

'Debug.Print bb, "能打印出来和上面不一样说明取到值了"

End Sub

嗷嗷叫的老马 2010-07-06

打赏
举报

看给出的示例内容,貌似是[AA][数据内容][BB]这样的格式,无物理分隔符,是内容逻辑分隔.

那么,如果其中的[数据内容]长度是一定的话,则可以参考上面10楼的方案,代码会很简单.

如果长度不一定,那就只有自己扫描这段内容了.

不过无论哪种方案,都有个读文件的问题,因为关键在于文件很大,能上G,那么我觉得就最好使用分段读取的方案,比如一次读取10M进来处理.

以前我在处理大文件时也使用过内存映射,但发现一个问题,就是进程的连续逻辑内存必须要有文件那么大,不然会映射失败.

不过这个问题当时没时间详细跟进,就使用了分段读取.不知道这个问题江南兄是否遇到?

嗷嗷叫的老马 2010-07-06

打赏
举报

[Quote=引用 14 楼 lyserver 的回复:]
遇到过，VB使用内存映射有一些内存限制，不像C++编译后内存是可预见的，而VB会把低端内存中某些高端地址保留给自己使用了，导致可用的连续地址不足1G，如果映射超过了500M，就很可能出问题。[/Quote]
汗,我也是映射差不多这么大的文件时出的问题.

刚刚看了一下以前的日志(http://www.m5home.com/blog/article.asp?id=182),是4XX大小的文件时就不行了.

hbutwzc 2010-07-06

打赏
举报

都是带勋章的高手啊
感谢各位

hbutwzc 2010-07-05

打赏
举报

hbutwzc 2010-07-05

打赏
举报

[Quote=引用 1 楼 bcrun 的回复:]
关键是你要读取到什么地方，作什么用途！！！！
如需要写代码给你，你最好生成一个1M左右的文本，压缩打包后上传到某处，供我们下载测试实际速度．
[/Quote]
要讲TXT文件里的数据一组一组（AA......BB为一组）分析，写入数据库啊

a1875566250 2010-07-05

打赏
举报

[Quote=引用 3 楼 lyserver 的回复:]
一、使用内存映射方式读取文件。
二、将内存映射得到的文件内容指针绑定到VB的byte数组上，以数组形式访问文件内容。
具体代码可参考我博客中《VB快速查找大型文件中包含的字符串》一文。
[/Quote]

恩，支持内存映射方法，最好用的。

lyserver 2010-07-05

打赏
举报

一、使用内存映射方式读取文件。
二、将内存映射得到的文件内容指针绑定到VB的byte数组上，以数组形式访问文件内容。
具体代码可参考我博客中《VB快速查找大型文件中包含的字符串》一文。

a1875566250 2010-07-05

打赏
举报

俺写的一个简单的文件读取函数。。。很潦草就是了，无聊无聊写的。。。

Private Declare Function OpenFile& Lib "kernel32" (ByVal FileName As String, ByVal OFs As Long, ByVal Flags As Long)

Private Declare Function NtReadFile& Lib "ntdll" (ByVal Handle As Long, ByVal Events As Long, ByVal APCRoutine As Long, ByVal APCContext As Long, ByVal IoStatus As Long, ByVal Buffer As Long, ByVal Length As Long, Optional ByVal Number As Long, Optional ByVal Keys As Long)

Private Declare Function NtWriteFile& Lib "ntdll" (ByVal Handle As Long, ByVal Events As Long, ByVal APCRoutine As Long, ByVal APCContext As Long, ByVal IoStatus As Long, ByVal Buffer As Long, ByVal Length As Long, Optional ByVal Number As Long, Optional ByVal Keys As Long)

Private Declare Function CloseHandle& Lib "kernel32" (ByVal Handle As Long)



Public Function ReadFile(ByVal FileName As String, ByRef ByteIn() As Byte) As Boolean

Dim Handle&, Block&(1), Struct&(33)

ReDim ByteIn(FileLen(FileName))

Handle = OpenFile(FileName, VarPtr(Struct(0)), 0)

If NtReadFile(Handle, 0, 0, 0, VarPtr(Block(0)), VarPtr(ByteIn(0)), UBound(ByteIn)) = 0 Then ReadFile = True

CloseHandle Handle

End Function

Public Function WriteFile(ByVal FileName As String, ByRef ByteIn() As Byte) As Boolean

Dim Handle&, Block&(1), Struct&(33)

CloseHandle OpenFile(FileName, VarPtr(Struct(0)), 4096)

Handle = OpenFile(FileName, VarPtr(Struct(0)), 1)

If NtWriteFile(Handle, 0, 0, 0, VarPtr(Block(0)), VarPtr(ByteIn(0)), UBound(ByteIn)) = 0 Then WriteFile = True

CloseHandle Handle

End Function



'使用方法如：



Private Sub Form_Load()

Dim Temp() As Byte

Me.Caption = ReadFile("C:\WINDOWS\win.ini", Temp)

MsgBox StrConv(Temp, vbUnicode)

Erase Temp

Me.Caption = ReadFile("C:\WINDOWS\notepad.exe", Temp)

Me.Caption = WriteFile("C:\notepad.exe", Temp)

End Sub

bcrun 2010-07-05

打赏
举报

关键是你要读取到什么地方，作什么用途！！！！
如需要写代码给你，你最好生成一个1M左右的文本，压缩打包后上传到某处，供我们下载测试实际速度．

贝隆 2010-07-05

打赏
举报

[Quote=引用 3 楼 lyserver 的回复:]
一、使用内存映射方式读取文件。
二、将内存映射得到的文件内容指针绑定到VB的byte数组上，以数组形式访问文件内容。
具体代码可参考我博客中《VB快速查找大型文件中包含的字符串》一文。
[/Quote]
不错的方法！顶

碧海情天-赵亮 2010-07-05

打赏
举报

[Quote=引用 5 楼 hbutwzc 的回复:]
要讲TXT文件里的数据一组一组（AA......BB为一组）分析，写入数据库啊
[/Quote]
每一组的记录长度似乎是固定的。
这样的话，就可以使用随机记录方式打开文件。事先定义好一个记录的结构体，随机方式打开时，取这个结构体的长度，读取时直接赋给这个结构体。然后就可以按结构体内定义的数据成员来取到对应的数据，进行分析处理。

饭fan有引力 2010-07-05

打赏
举报

帮顶，，，，

加载更多回复（2）

vb6 怎么很快的读取数据量大的TXT文件

相关推荐