关于HBase存储格式的问题

[wangzhen199009]

HBse数据都以StoreFile形式存储，每个StoreFile的datablock用于存储键值。现在毕业论文有一个需求，就是要添加一些索引（位图索引）在数据块当中，通过位图索引的方法，进行HFile当中数据的进行快速查找。。。。
当然这些都是构想，本人水平非常有限，想问下如果想在HBase原有代码的基础上通过修改源代码的方式，来实现HFile文件格式的重新定义和数据读取的问题。需要怎么做呢 ？或者需要学点哪些知识呢？

[wangzhen199009]

引用 1 楼 hapyangel 的回复:

本人水平非常有限

别闹

[hapyangel]

本人水平非常有限

[mopishv0]

布龙过滤器本身storefile内部就有，而且hfilev2后，storefile内部已经有针对rowkey的两级索引了，因为storefile内部rowkey有序，所以索引并不占太多存储。 如果是针对其他列值进行索引，那索引规模必然很大，因为是无序的，所以最好不要在storefile内部搞非rowkey索引，加重compact和seek负担。

[a-Loser]

我不知道楼主的意思是在一个块里建index 还是全局index。 全局index需要在每次生成HFile和HFile合并的时候刷新。 单个块的index，只需要在HFile生成时建立就行了，生存期和HFile一样。

[wangzhen199009]

引用 4 楼 Lucifer2603 的回复:

我不知道楼主的意思是在一个块里建index 还是全局index。 全局index需要在每次生成HFile和HFile合并的时候刷新。 单个块的index，只需要在HFile生成时建立就行了，生存期和HFile一样。

全局建立索引，索引肯定会太大，一个节点难以存储吧。只能在每块简历索引吧。但是这个HFile格式能重新定义吗？知道怎么重新弄定义不？