16,472
社区成员
发帖
与我相关
我的任务
分享大量数据的存储与显示
各位高手：
探讨一个问题:在编程采集很大的数据的时候（eg:几百兆、几GB），这个时候将数据存储在硬盘中时，大家都采用什么格式存储，存储后再次调出数据到内存中，进一步绘图显示时用什么方法？如果几个GB的数据一次性掉入内存似乎不太可能？
本人用txt文件存储。显示方法思考中。。有更好的方法吗？有系统性的建议否！！？？各位高手请赐教！！！
探讨一个问题:在编程采集很大的数据的时候（eg:几百兆、几GB），这个时候将数据存储在硬盘中时，大家都采用什么格式存储，存储后再次调出数据到内存中，进一步绘图显示时用什么方法？如果几个GB的数据一次性掉入内存似乎不太可能？
本人用txt文件存储。显示方法思考中。。有更好的方法吗？有系统性的建议否！！？？各位高手请赐教！！！
...全文
请发表友善的回复…
发表回复
koala_kd 2011-04-05
- 打赏
- 举报
二进制存储你的数据 ，一般采集卡的数据都比较规律，自己定义格式吧，然后文件操作，数据库达不到你采集存储的要求的，一般来说啊
hcl545 2011-04-05
- 打赏
- 举报
学习并进一步思考中，谢谢各位高手的帮助！！
sichuanwww 2011-04-05
- 打赏
- 举报
内存映射。
hztj2005 2011-04-04
- 打赏
- 举报
这得看你的数据特点和使用目的。
txt文件用于存储单纯的数据文件，就用流输出，流输入。txt文件你可以用记事本打开看。1G以上，你用Ultraedit打开。但数据很多时，读入速度就有问题了。
如果数据特大，几百m以上，你就用内存映射读写，速度很快。如果几个GB的数据一次性读入内存也可以，你的内存得足够大。但是内存映射是二进制的，如果用记事本、Ultraedit打开这种文件，看起来就是乱码。
txt文件用于存储单纯的数据文件，就用流输出，流输入。txt文件你可以用记事本打开看。1G以上，你用Ultraedit打开。但数据很多时，读入速度就有问题了。
如果数据特大，几百m以上，你就用内存映射读写，速度很快。如果几个GB的数据一次性读入内存也可以，你的内存得足够大。但是内存映射是二进制的，如果用记事本、Ultraedit打开这种文件，看起来就是乱码。
hcl545 2011-04-04
- 打赏
- 举报
数据存储自定义数据类型就是定义结构体吧？谢谢！！.txt文件用于存储单纯的数据文件（如从采集卡中获得）应该还是很方便的，这时提取时用单纯的数据提取函数即可，当然，这时取中间的数据比较麻烦，但是用时间节点提取，应该还比较方便！！
向立天 2011-04-04
- 打赏
- 举报
我处理过3、4百兆的数据文件
用的方式是随机文件
操作方法是内存映射文件
用的方式是随机文件
操作方法是内存映射文件
hcl545 2011-04-03
- 打赏
- 举报
txt的最大容量为10M——此说法有问题，我稍稍尝试了一下，500M没一点问题！有帖子论述，txt文件大小基本没限制，参见：http://topic.csdn.net/u/20080427/07/1fd97ff0-d76f-4677-b65b-fb533fc19f70.html
hcl545 2011-04-03
- 打赏
- 举报
这是个问题，没试过往大了存，txt的极限！！有其它存储格式或方法没
努力学习_提高自己 2011-04-02
- 打赏
- 举报
txt最大能保存10MB的样子，超过了就保存不下了。。。
辰岡墨竹 2011-04-01
- 打赏
- 举报
其实对于不太规则的纯数据的大文件的话，不方便用数据库。因为不容易建立表结构。
可以用内存映射文件，把文件的一部分映射到VirtualAlloc分配的内存窗口里。不要一次性全读入，要正好能方便一两次绘图的就足够了。
可以用内存映射文件，把文件的一部分映射到VirtualAlloc分配的内存窗口里。不要一次性全读入，要正好能方便一两次绘图的就足够了。
hcl545 2011-04-01
- 打赏
- 举报
谢谢！看样子真得玩玩数据库了！！
xhjbeidoulong 2011-04-01
- 打赏
- 举报
这种根据数据特性, 做法差异会很大的, 主要可以:
1. 利用数据库存储, 查询数据;(这样你可以脱离低层的存储结构, 算法等)
2. 按数据特性, 定义特定的存储结构及算法;(这样你可以获得极高的性能)
1. 利用数据库存储, 查询数据;(这样你可以脱离低层的存储结构, 算法等)
2. 按数据特性, 定义特定的存储结构及算法;(这样你可以获得极高的性能)
stock999 2011-04-01
- 打赏
- 举报
定义
struct rec_t
{
......
};
文件就是若干条这样的 rec_t 的记录。
struct rec_t
{
......
};
文件就是若干条这样的 rec_t 的记录。
stock999 2011-04-01
- 打赏
- 举报
采用自定义的结构来存储，同时最好搞个索引文件，以便快速访问指定的记录。
