ES项目引用和热搜词功能实现

sundaytian 2023-01-12 14:39:59

课时名称	课时知识点
ES项目引用和热搜词功能实现

...全文

141 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

本系列文章将从热词统计需求讲起，讲解flink在实际项目中的应用、部署、容错。项目中的代码为scala所编写，没有用 java 的原因是scala语言看起来更加简练，同时与java语言的兼容性较好，可以直接引用java中的类。定义数据格式本篇文章会讲述热词统计最核心的一个功能实现，即消息传递过来的是搜索的单词，程序中进行统计。基于此我们定义传递的数据格式为 ${timestamp},${word}...

最近要实现的一些功能需要让ES的同义词、扩展词、停止词能够热更新，达到让搜索更精确的目的。在网上看了很多相关的博客，现在热更新的方案已经实施成功，现在来总结一下。 ES版本：5.5.2 IK分词器版本：5.5.2 扩展词、停止词我的ES使用的中文分词器是IK分词器，IK分词器支持一种热更新的方案，部署一个web服务器，提供一个http接口，通过modified和tag两个http响应头...

可以通过 Canal 对 MySQL binlog 进行数据同步，或者 flink 或者 SpringBoot 直接往ES里添加数据。PS：prefix,fuzzy,wildcard 和 regexp 查询效率相对比较低。要求效率比较高时，避免去使用]elasticsearch-rest-client 一定要引用，否则报错。当前以 SpringBoot 直接代码同步为例（小项目此方法简单）分词器 analyzer 和 search_analyzer。做一个类似百度的全文搜索功能。点击查看全部POM代码。

接下来就是adapter了，但是在启动前我们要想一下，我们在SpringBoot接入ElasticSearch的时候讲过，ElasticSearch对版本是很敏感的，我们使用的ElasticSearch是7.3.0，那么Canal中间件在与ElasticSearch交互式也应该是7.3.0，Canal对接ElasticSearch跟之前接入SpringBoot的方式一样，都是通过引入pom依赖来完成的，因为Canal也是java项目，那我们就得看下源代码中对应ElasticSearch声明的版本号是什么。

Elasticsearch之近义词/同义词的使用目录Elasticsearch之近义词/同义词的使用环境：创建索引环境： ES 7.6.1 kinaba 7.6.1 centos 7 创建索引 PUT /test_001 { "settings": { "index": { "max_result_window": 1000000 }, "analysis": { "analyzer": { "ik_max_word": {

张勇的课程社区_NO_1

1

社区成员

665

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章