[讨论]C/C++编程中 未知大小数据存储的内存分配方案

[浪浪-BD1ANI]

使用C/C++编程时，常需要开辟一块连续的内存空间来存储或记录某些数据，但在扫描数据之前不知道该数据的大小。
例如，需要遍历一个数据表，筛选出符合某条件的记录，并存储在内存中。
显然，我们不能立即分配完全符合数据大小的内存空间而不导致指针越界，以下是我总结的几种常用方法：

1. 事先估计一个长度（数据绝对不会超过这个长度），分配定长的内存空间；
2. 将源数据扫描两遍：第一遍仅计算长度（然后分配存储空间），第二遍提取数据；
3. 使用链表，一边扫描源数据，一边动态申请内存，同时统计数量，再分配使用指针数组来实现逻辑上的“连续”；
4. 使用可回读的数据流（例如磁盘文件）来临时存储这些数据，分配空间，再将这些数据全部读到内存中；
5. 内存地址映射。

评判上述几种方案：
方案一，在数据较少或大小稳定的情况下方便、快捷，但对于大量且数量波动很大的情况极易造成指针越界，或带来严重的空间浪费；
方案二，对于少量数据来说实现方法简单，但“浪费”了一次扫描；
方案三，实际上不连续，但使用指针数组构成了逻辑上的“连续”，缺点是编程时需重新构造原先数据结构以形成链表（至少增加next字段），同时由于增加next指针也造成了一定空间浪费，由于存储空间分立，不易于内存清理；
方案四，一次遍历即可获取全部信息，由于数据流的特性而不必担心越界，但需要进行写、读两次文件操作，会因速度慢而造成瓶颈效应；
方案五，实现方法过于复杂。

以上仅仅是我个人总结的，希望大家踊跃讨论，提出各自的方法！

[iambic]

没用过std::vector或者std::string？

[xiaoyisnail]

呵呵，标准库中的容器已经提供了很好的动态长度的内存的高效实现

[cqqqq]

我们不能立即分配完全符合数据大小的内存空间而不导致指针越界?
在给定空间内按要求分配,如何越界?除非错误操作

[ljmscsq]

可以使用stl的vector啊，这个已经实现了。很好用

[waizqfor]

vector很好很强大！~`

[浪浪-BD1ANI]

我补充一点：我一般在Linux下使用C编写程序。
请问C标准库中有没有用来替代C++ vector实现动态数组的工具？

另外，二楼 xiaoyisnail 指的是标准C库还是C++库？

[sese53]

友情站位

[浪浪-BD1ANI]

我知道C中可以用realloc()，但realloc过程究竟靠“移动数据”还是“重映射”实现的不能确定，假若是前者，那么效率太低了！

[agaric]

用vector之类的当然最好。

[iambic]

效率低不低要看实践，不是一句“如果……就……”能决定的。

[michney]

能不动态就不动态
能使用栈内存就不用堆内存

[Crob]

STL

[浪浪-BD1ANI]

[Quote=引用 12 楼 michney 的回复:]
能不动态就不动态
能使用栈内存就不用堆内存
[/Quote]
类似于这样的回复就不要发了，我说的很清楚：数据量很大，而且不定长，所以必须使用堆内存，必须使用动态分配！

[sxqlyy]

用链表就很好了啊
缺点是不可以随机访问
也可以参考vector的做法，自己实现一个

[浪浪-BD1ANI]

realloc()