单位为1亿以上数据量，如果将查找/排序/添加/删除/移动/唯一/固定在1秒以下？

[Clonne]

假如数据的结构是这样：

typedef struct
{
char name[64]; // id
char note[256];
date create_time;
...
}DataUnit;

而有上亿个这样的数据的话，如果能将对这些数据的处理的速度尽量加快？

是该用数组？还是链表？还是树？是该用什么算法？

首先我假定一下每个数据的大小：24KB
再假定总数据量：3亿

我的CPU是Intel E6500，内存2G，硬盘1TB。
需要怎样的技术，才能将每次操作数据时间维持在1秒以下？每个操作都可能有遍历、和换位。

[jiandingzhe]

我不擅长数据结构。但是我觉得不可能对上述所有的操作使用相同的时间要求，因为不同的数据结构所偏向的能力是不同的。 楼主的这个数据量非常大，看来只能放在硬盘上。你还是看看已有的数据库引擎吧。 另外你需要重新考量你的需求：是不是真的需要遍历所有的那些数据，还是其实只需要其中的一部分？

[proorck6]

研究透了这个问题，你可以编一个数据库出来了。 或者直接使用成熟的数据库产品？

[bravery36]

我觉得可能考虑将数据按特征分组。如果都是在同一个数据库里存储的话，就算是像berkeley db core这样子的key-value结构，存取性能也不一定能达到你的要求。

[baichi4141]

大规模数据处理，需要根据实际需求来分析，包括数据类型，数据特征，数据量，硬件条件等等 不要凭着空想，提一些不可能的硬指标 每个数据的大小：24KB 总数据量：3亿 总数据大小：6.866TB 别说内存，你的1TB的硬盘都放不下这么多数据，更不用提什么1秒内处理完成 况且处理数据是怎么个处理？如果是单选一个出来处理的话，也就是预先按某种算法所有数据分块，处理时直接按算法找到所在块读入内存处理，不会比处理单个数据慢太多，而如果是遍历所有数据并处理的话，假设1秒处理3亿数据，Intel E6500主频3G，姑且看作1秒钟3亿条指令（实际上几乎不可能），那么你的遍历处理除了最简单的加法之外，没有任何其他处理能够在1秒内完成——一个24KB的数据怎么可能只执行一次最简单的加法？

[赵4老师]

固态硬盘加数据库

[miliggate]

这个是硬件的问题了吧。。 如果可以提供准确的插入/删除的位置，1秒一下可以 但是内存会不足 我是过用map实现一棵树 结果4千W个节点竟然用了我2G多的内存。。 用vector才300M

[一叶之舟]

用分布式数据库，或是oracle做分区表基本上达以实现。

[一叶之舟]

如果换成10G内存，500G硬盘，你用map在内存中就可以实现了。