lucene与数据库数据的同步问题

Elh_ 2016-10-13 05:42:01

lucene存在内存中，每次删除，更新操作都通过lucene，现在出现的问题是lucene与数据库数据的不同步，现lucene里的数据多于数据库的数据，我不知道存在内存中会不会有缓存问题，可不可以存在内存中，哪位大神能帮帮忙

给小女子指个路，定当感激不尽

...全文

301 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

Elh_ 2016-10-14

打赏
举报

回复

看到有人建议用solr lucene不支持同步读取更新得自己做线程处理 solr就做了相关封装是不是用solr更好一些？有没有大神给个建议？

Sidyhe 2016-10-13

打赏
举报

回复

不懂, 帮顶.

本文介绍了ElasticSearch，它是基于Lucene的全文搜索和分析引擎，具备强大功能。阐述了ES的索引机制，通过倒排索引实现高效检索；分词机制常用IK分词器。还探讨了ES与数据库同步问题，包括全量和增量同步，以及动静分离存储，最后介绍了Canal + Binlog实现实时同步的方法。

本文介绍了Lucene全文检索系统的原理及应用，包括索引创建、查询分析、分词器使用等关键技术，并探讨了SEO优化、索引库优化及与数据库同步等问题。

本文聚焦非关系型数据库，介绍了缓存数据库如Redis、Memcache，分析Redis优点、数据类型、应用场景、常见问题及持久化等；还阐述了MongoDB的索引分类与特点；此外，讲解了全文检索的概念、场景、应用，包括Lucene、Solr、Elastic Search，以及ES的基本概念、分布式实现、性能优化和数据同步。

本文介绍基于Lucene/XML的站内全文检索解决方案。阐述了站内全文检索的必要性，如搜索引擎存在数量有限、更新慢等问题。还提及系统搭建，强调XML作为工业标准的优势，以及传统数据库应用的全文检索加速方法，包括数据同步、结果排序等，最后提到与其他应用的集成。

博客指出数据库字段类型为clob时，Solr同步数据库出现数据量不一致问题，原因是出现巨大字符串，UTF - 8编码长度超默认限制。给出两种解决方案，一是修改字段类型定义增加maxLength值或移除限制，二是完全移除maxLength限制，还说明了实施步骤。

51,409

社区成员

86,090

社区内容

发帖

与我相关

我的任务

javaspring bootspring cloud 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章