写大文件问题探讨

[hmsuccess]

我手里有一个应用---解析大型xml文件()，然后把解析后的数据保存到外存上（由于前面解析得到的信息还要参考后面的信息来更新自己，所以不能边解析边向一个文件直接写入数据）

于是，我想到的第一个方法就是边解析，边将数据保存到B+树上，B+树的data区域存放着一个文件的偏移位置，当然随着解析的进行，
B+树要维持数据的更新，即就是按照一定的顺序存放，这样解析起来就很慢，由于在B+树更新数据时，会出现大量的文件内容挪动问题。

参考文件内存映射的技术，能不能这样，对于写数据的文件建立一个文件内存映射，然后，B+树的data区域存放着这个映射文件的偏移位置，随着数据放入，B+树中，这样就相当于直接在内存中进行排序了，不能这样行得通吗？

或者，大家还有更好的方法，当然除过借用数据库，谢谢大家！！

[jn989]

"由于在B+树更新数据时，会出现大量的文件内容挪动问题",这个我也不明白，更新时不是移动指针就可以了吗？怎么会有文件内容移动的问题呢？再说某一块数据更新，只要通过B+树定位到该区域，直接将更新后的数据覆盖即可了啊？怎么会需要移动呢？
采用操作系统中有关文件管理的方法应该可以解决吧？

[lingyin55]

mark 继续关注

[yangch_nhcmo]

帮顶,期待高手给出方案

[oyljerry]

直接把文件放到内存映射文件中，CreateFileMapping，MappingViewOfFile等,内存映射文件处理大文件效率高。然后你直接在内存中处理等

[hmsuccess]

[Quote=引用 10 楼 oyljerry 的回复:]
直接把文件放到内存映射文件中，CreateFileMapping，MappingViewOfFile等,内存映射文件处理大文件效率高。然后你直接在内存中处理等
[/Quote]
我也想到这个方法，但是，我的数据是要实时更新的，
比如所，将xml文件中elements相同的数据放到一起，所以我才借用b+树和映射文件

对了oyljerry，问一个问题，映射文件刚开始是没用内容的，这样在创建内存映射文件时，可以吗，
谢谢，

[dongpy]

mark

[sagegz]

友情UP~!

[M_S_D_N]

海量数据不适合存放成xml文件格式进行查询、删除和修改吧？！
不过现在很多公司都这么做，难道就为了在格式上省时省力？

[hmsuccess]

我手里有一个应用---解析大型xml文件()，然后把解析后的数据保存到外存上（由于前面解析得到的信息还要参考后面的信息来更新自己，所以不能边解析边向一个文件直接写入数据）

于是，我想到的第一个方法就是边解析，边将数据保存到B+树上，B+树的data区域存放着一个文件的偏移位置，当然随着解析的进行，
B+树要维持数据的更新，即就是按照一定的顺序存放，这样解析起来就很慢，由于在B+树更新数据时，会出现大量的文件内容挪动问题。

参考文件内存映射的技术，能不能这样，对于写数据的文件建立一个文件内存映射，然后，B+树的data区域存放着这个映射文件的偏移位置，随着数据放入，B+树中，这样就相当于直接在内存中进行排序了，不能这样行得通吗？

或者，大家还有更好的方法，当然除过借用数据库，谢谢大家！！

[疯哥哥]

"将数据保存到B+树上","由于在B+树更新数据时，会出现大量的文件内容挪动问题"
呵呵,不太明白.
你不是把数据的内容放到树里面吧...
单独分配数据空间,然后用这个空间写数据,把数据指针挂在树上就可以吧..这样更新起来是不是不用挪动数据了...

up,帮你顶一下!

[猫已经找不回了]

过来学习.

[hmsuccess]

呼叫高手，谢谢