大数量文件存储及查找（急求）

syxsyx7 2011-08-16 10:12:00

现在有一个需求：
至少有20T的数据文件，每个文件大小10M-100M不等，这些数据都要存储在本地一台服务器上，C#有没有一些成熟的本地存储框架或者算法。
大量数据文件如何实现快速查找，有没有索引机制可以借用？
求思路，求工具，求帮助！

...全文

117 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

连风 2011-08-16

打赏
举报

回复

可以研究下NoSql数据库，基于Key Value的

syxsyx7 2011-08-16

打赏
举报

回复

如果我为了查找一个文件而去遍历所有目录和文件，这个貌似行不通吧？
难道C#提供了检索的方法？

我最初的想法是，制作一个索引文件，可以用XML或者自定义的文本，查找文件时，在索引中查找，然后到指定位置去拿文件就可以了。
求指点。

gomoku 2011-08-16

打赏
举报

回复

目录，还有文件名，本身就是不错的索引机制。

在Kafka文件存储中，同一个topic下有多个不同partition，每个partition为一个目录，partiton命名规则为topic名称+有序序号，第一个partiton序号从0开始，序号最大值为partitions数量减1。从上述图3可知这样做的优点，segment index file采取稀疏索引存储方式，它减少索引文件大小，通过mmap可以直接内存操作，稀疏索引为数据文件的每个对应message设置一个元数据指针,它比稠密索引节省了更多的存储空间，但查找起来需要消耗更多的时间。

1.最大文件存储数量和文件系统格式有关。centos7默认是xfs，centos6默认是ext4。centos5默认是ext3。

在Kafka文件存储中，同一个topic下有多个不同partition，每个partition为一个目录，partiton命名规则为topic名称+有序序号，第一个partiton序号从0开始，序号最大值为partitions数量减1。从上述图3可知这样做的优点，segment index file采取稀疏索引存储方式，它减少索引文件大小，通过mmap可以直接内存操作，稀疏索引为数据文件的每个对应message设置一个元数据指针,它比稠密索引节省了更多的存储空间，但查找起来需要消耗更多的时间。

在Kafka文件存储中，同一个topic下有多个不同partition，每个partition为一个目录，partiton命名规则为topic名称+有序序号，第一个partiton序号从0开始，序号最大值为partitions数量减1。从上述图3可知这样做的优点，segment index file采取稀疏索引存储方式，它减少索引文件大小，通过mmap可以直接内存操作，稀疏索引为数据文件的每个对应message设置一个元数据指针,它比稠密索引节省了更多的存储空间，但查找起来需要消耗更多的时间。

在Kafka文件存储中，同一个topic下有多个不同partition，每个partition为一个目录，partiton命名规则为topic名称+有序序号，第一个partiton序号从0开始，序号最大值为partitions数量减1。从上述图3可知这样做的优点，segment index file采取稀疏索引存储方式，它减少索引文件大小，通过mmap可以直接内存操作，稀疏索引为数据文件的每个对应message设置一个元数据指针,它比稠密索引节省了更多的存储空间，但查找起来需要消耗更多的时间。

111,129

社区成员

642,536

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧

+ 用AI写文章