如何保证数据文件和索引文件同步
项目中需要单独开发数据存储模块,目前像索引的内存结构,数据的内存结构,事务的控制和灾难恢复,缓存控制这些都已经有了大概眉目,但卡在了索引文件和数据文件怎么同步上这块:
如:当“数据”从内存同步到文件时,Block中的记录的偏移地址可能会发生变化,如果已经将“数据Block“同步到文件,但是没有将这些Block上的记录的偏移地址同步到索引文件,那么当重启动服务时,从索引文件中读取的偏移地址可能就会发生错误?请问这个要怎么避免或者是发生了以后怎么恢复?
能否通过undo,redo或者undo\redo日志文件或者其他办法来处理(除了重建索引)?
如:当“数据”从内存同步到文件时,Block中的记录的偏移地址可能会发生变化,如果已经将“数据Block“同步到文件,但是没有将这些Block上的记录的偏移地址同步到索引文件,那么当重启动服务时,从索引文件中读取的偏移地址可能就会发生错误?请问这个要怎么避免或者是发生了以后怎么恢复?
能否通过undo,redo或者undo\redo日志文件或者其他办法来处理(除了重建索引)?
...全文
相关推荐
基于NETCore2构建的MongoDB与ElasticSearch实时双向同步工具_支持一对一一对多多对一多对多映射关系的数据同步与索引管理_通过监听MongoDB副本集操.zip
基于NETCore2构建的MongoDB与ElasticSearch实时双向同步工具_支持一对一一对多多对一多对多映射关系的数据同步与索引管理_通过监听MongoDB副本集操.zip
百度网盘用户资料抓取与搜索引擎_基于Python实现自动化爬虫技术抓取百度网盘用户公开分享的文件资料并建立索引数据库支持关键词检索和文件分类管理提供用户资料更新机制和文件同步功能适.zip
百度网盘用户资料抓取与搜索引擎_基于Python实现自动化爬虫技术抓取百度网盘用户公开分享的文件资料并建立索引数据库支持关键词检索和文件分类管理提供用户资料更新机制和文件同步功能适.zip
基于canal的mysql和elasticsearch实时同步方案,支持增量同步和全量同步.zip
基于canal的mysql和elasticsearch实时同步方案,支持增量同步和全量同步.zip
python+rsync精确同步指定格式文件
主要为大家详细介绍了python+rsync精确同步指定格式文件,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
行业分类-设备装置-应用于搜索引擎的海量文件异步索引及读写方法.zip
行业分类-设备装置-应用于搜索引擎的海量文件异步索引及读写方法.zip


