超过10w个 array of record

iamduo 2010-03-16 09:48:14

我建立了一个动态 record 数组
TMyRecord = record
FieldNames:array of string;
Records:array of array of Variant;
end;

大致的结构如上，目的是把数据库里的东西保存进来，做一些特殊的运算。
用一个类来管理。它作为类的一个private 存在。

现碰到一个问题。如果我插入10万条记录的话，就会报 out of memory 。

请问怎么解决？
或者说，谁知道 CreateMemoryView 对动态record数组的应用？

...全文

180 15 打赏收藏转发到动态举报

写回复

用AI写文章

15 条回复

切换为时间正序

请发表友善的回复…

发表回复

SQLDebug_Fan 2010-03-17

打赏
举报

Win 32下应用程序能够使用最大的内存大小是2G，看一下你在加载数据的时候，程序的Virtual Size是否超过2G了，如果超过2G就会报Out Of Memory，也有可能你申请的一块内存太大，系统没有这么大的，也会报错。查看内存状态的软件ProceXP非常好用，推荐用一下。用内存映射可以解决这个问题，如果实现内存映射加分页，那么程序效率会更高，尤其是硬盘的碎片非常多的时候。

iamduo 2010-03-16

打赏
举报

我之前写了一个1.0版本的，将我的分析，由00:21:25->00:19:30
提升的不是很多。
不过我们可以看出，再优化的TDataSet查找方法，也比不过直接使用动态数组。
想着吧，把后面那个秒数也去掉。
所以在写2.0版本。理论上验证，是可以达到我想的结果。
就是在过大数据量10w条的时候，（当然，业务上还不会有这么大的数据。仅仅个人的思考点）。

iamduo 2010-03-16

打赏
举报

呵呵，解释一下。

由于一些特殊的需求，我在写一个关于数据管理的东西。
也就是从数据库中取得内容，保存成一个文件。然后，透过该文件，查询得到相关的数据。
用数据库本身，或者dbGO控件效率上很糟糕。
所以我想到的是用二分法去search 一个动态Record，封装了一个简单的类似于TDataSet的东西。
昨天完成了读写部分，做了一个小实验，一下子插入10000条数据（5个字段）耗时10几秒，但是新增10w条的时候，out of memory。
我能想到的解决方案是内存映射。

就是尚在研究内存映射和动态Record 的应用。
我晓得，我的结构对于内存映射是很痛苦的一件事情。
因为 string ，variant。

但是，我自己这个类已经实现了 LoadFromStream LoadFromFile （利用 TWriter TReader）
所以，估计还是有机会实现的。

IDWB 2010-03-16

打赏
举报

10万条记录。。。。
既然是从数据库中取出来的，是否可以考虑直接用clone 到 _recordset

无条件为你 2010-03-16

打赏
举报

你10万条记录插在哪？

Harryfin 2010-03-16

打赏
举报

可不可以考虑做成分批呢?

foodztf 2010-03-16

打赏
举报

那分吧

regersubadm 2010-03-16

打赏
举报

这样的话是在栈上分配的空间吧，像需要这么大的内存尽量要在堆上分配才行的。

yshuui 2010-03-16

打赏
举报

直接用ADO控件的LoadFromFile（）
SaveToFile()方法试试速度，这个应该是在内存操作的。
不知道能不能用SQL。

SQLDebug_Fan 2010-03-16

打赏
举报

查看一下程序的虚拟内存大小，如果超过2G了，就会Out Of Memory

ok1411 2010-03-16

打赏
举报

FieldNames:array of string;
这里的string给个长度限制看看，如string[64]

gxj760998 2010-03-16

打赏
举报

修改默认的内存堆栈占用空间，但这不是个好办法。
除非能估计出你最大的内存使用限制。
建议采用分批方式。

ahjoe 2010-03-16

打赏
举报

我想，你不需要把全部数据都保存到内存里。应该只保存你搜索需要用到的信息和记录号(或关键字段)

tylzyoudi 2010-03-16

打赏
举报

你申请的内存空间太多!

无条件为你 2010-03-16

打赏
举报

RAR打包很大的文件都不会出错，如果是将数据库中的记录按照某格式（定义一个结构体）以流方式分批写入一个文件，我或者可以帮到你。

另外有一点特别要注意：二维动态数组的存储空间并不像一组数组那样是连续的。
还有：Variant如果不是必要的，尽量不要用，因为它势必导致系统开销过高。你到网上搜下Variant类型就知道了。定义二组Variant动态数组非常不明智。

array of const2008-03-11 10:20Delphi的Format函数大家都用得很多，第二个参数用着确实很方便。最近在数据库开发应用中需要自己创建一个带array of const参数的函数，对于常用的类型String,Integer,Pointer处理都没...

在TIPTOP系统中设有这样的一个方法cl_show_array(),这个方法的主要作用是开窗呈现一个动态数组中的内容,主要用于我们在对单身里面多条数据进行逐一判断,最终将单身里面有错误的信息,在不写任何开窗代码的情况下,...

This article describes the syntax and use of open array parameters, and the use of the "array of const" parameter type. It also describes the internals of these two similar types of parameters, discus

DEFINE ima DYNAMIC Array OF RECORD ima01 LIKE ima_file.ima01 END RECORD DEFINE g_sql STRING DEFINE t INT LET p=p.toLowerCase() LET g_sql="SELECT ima01 From ",p,".ima_file WHERE ima...

http://www.javadocexamples.com/java/awt/image/BufferedImage/setRGB(int%20startX,int%20startY,int%20w,int%20h,int[]%20rgbArray,int%20offset,int%20scansize).html 1: public class ColorPan extends