全文检索、关键词检索与语义检索:Elasticsearch中text和keyword选型指南
最近在社群里被人问到一个特别典型的问题:“我把 title 字段设成了 keyword,为啥用户搜‘机器学习入门’啥都搜不到?” 底下马上有人回复“你这个问题不是 keyword 的锅,是你压根分不清全文检索和关键词检索”,还有人补刀“等你搞懂了 text 和 keyword 的区别,就不会这么设了”。说实话,这一类问题我见过不下几十次,很多做了两三年开发的同学,谈到全文检索、关键词检索、语义检索时,依然要么混为一谈,要么只知道用 text 搜、用 keyword 过滤,却说不清底层到底发生了什么。
这篇东西我不打算写成官方文档的复述,而是从一个实际干活的人的角度,把这三种检索的关系彻底掰开揉碎,再把 Elasticsearch 里 text 和 keyword 的选型逻辑讲清楚。没有废话,全是能直接用到的判断方法,以及我这些年踩过的坑。
1. 一次群聊引发的连环追问:三种检索到底是不是一回事
很多人在网上搜资料时会发现,这三个词经常被放在一起说,但解释得云里雾里。有人告诉你“全文检索就是关键词检索”,也有人告诉你“语义检索是新趋势,传统检索过时了”。这些说法不能说全错,但基本都带着误导性。要理清楚,得从它们各自解决的问题出发。
1.1 先把概念掰开:全文检索搜的是“词”,不是“文”
全文检索(Full-text Search)是最容易理解错的概念。它名字里带“全文”两个字,容易让人以为是对整篇文档做完整匹配。实际上,全文检索干的事情是:把一大段文本拆成一个个词(分词),然后为每个词建立索引,查询时再把你的输入也拆成词,去索引里找包含这些词的文档。
拿一个具体例子来说。假设你有一个商品表,有个字段叫 name,里面的值是“Apple iPhone 15 Pro Max 黑色 256G”。全文检索要做的,是把这个字符串按某种规则拆成 [apple, iphone, 15, pro, max, 黑色, 256g] 这样的词条,存进倒排索引。用户搜索“iPhone 黑色”,也会被拆成 [iphone, 黑色],然后去倒排索引里找到同时包含这两个词的那条商品记录。
所以,全文检索的核心是“包含关系”+“相关度排序”。它不要求用户输入和字段值完全一致,只要字段里包含查询中的关键词,就能被召回。这也是为什么全文检索特别适合做搜索引擎、站内搜索、商品搜索这类场景。
1.2 关键词检索干的活:精确对号,不负责联想
关键词检索(Keyword Search / Term Search)的思路完全不同。它做的是一次“精确对号入座”:拿整个查询值作为一个完整单位,去索引里找一模一样的值。关键词检索不做分词、不做模糊匹配、不做相似度计算,只回答“有没有这个完整值”。
比如还是上面那个商品字段值 Apple iPhone 15 Pro Max 黑色 256G,如果你用关键词检索查“iPhone”,答案是查不到,因为这个字段值作为一个整体,并不等于“iPhone”。你得查 Apple iPhone 15 Pro Max 黑色 256G 这种完整内容才可能命中。
关系型数据库里的 where name = 'iPhone' 就是典型的关键词检索思维。Elasticsearch 里的 term 查询、terms 查询,本质上也是这个路子。
1.3 语义检索的新维度:从“字面长啥样”到“意思是不是一样”
语义检索(Semantic Search)是这几年才火起来的。它的底层逻辑是:把文本转换成向量(一堆数字),然后通过计算向量之间的距离,来判断两段文本在语义上有多接近。
同样是搜“笔记本”,全文检索只能命中包含“笔记本”三个字的文档,语义检索却能把“笔记本电脑”“laptop”“便携式电脑”这些字面不同但意思相近的内容都召回。因为经过 Embedding 模型转换后,它们的向量在空间里的位置是靠近的。
这里要特别强调:语义检索不是用来替代前两种检索的,它解决的是“同义不同形”的召回问题。它有自己的短板,包括冷启动成本高、需要模型支撑、结果可解释性差、偶尔会出现“向量近但实际不相关”的误召回。
1.4 一张表说清三者的关系
很多人看完概念还是朦的,我直接用一张表把三者的核心差异列出来:
| 维度 | 全文检索 | 关键词检索 | 语义检索 |
|---|---|---|---|
| 匹配单位 | 分词后的词条 | 完整字段值 | 向量表示 |
| 是否分词 | 是 | 否 | 不一定(取决于模型) |
| 典型查询 | match |
term / terms |
knn / 向量相似度 |
| 能否模糊命中 | 能 | 不能 | 能 |
| 擅长场景 | 站内搜索、文章检索 | 过滤、聚合、精确匹配 | 同义词扩展、意图识别 |
| 典型问题 | 分词不准 | 缺乏扩展能力 | 可解释性差 |
关系上,全文检索和关键词检索是“互补”的:一个负责搜内容,一个负责筛条件。语义检索则是在它们之上的增强层,负责把“用户嘴上说的”和“库里存的内容”之间因为表达差异而断掉的线重新接上。
2. 从一条文档进索引的完整旅程,看懂 text 和 keyword 的分水岭
概念搞清楚了,我们再来看 Elasticsearch 里的两个基础字段类型。很多人理解不了 text 和 keyword,本质原因是不知道一条数据写入索引时发生了什么。我带你把这条链路走一遍。
2.1 分词器就是那个分水岭
假设你要写入一条文档,字段名是 title,字段值是 Elasticsearch 全文检索实战指南。
如果 title 类型是 text,写入时 Elasticsearch 会调用分词器(Analyzer)对这个字符串做处理。以中文常用的 IK 分词器为例,它可能拆成 [elasticsearch, 全文检索, 实战, 指南],也可能细分成 [elasticsearch, 全文, 检索, 实战, 指南],取决于分词器配置。这些词条会各自进入倒排索引。
如果 title 类型是 keyword,写入时则不做任何分词,整个字符串 Elasticsearch 全文检索实战指南 会作为一个完整的词条,存进倒排索引。注意这里没有被拆开,一个字都没少,但一个词条就是整个字符串。
这就是 text 和 keyword 的分水岭:一个负责“拆”,一个负责“整”。后续所有行为差异,全部源于这一点。
2.2 底层都是倒排索引,为什么行为差这么多
这里有个常见的误区:以为 keyword 不用倒排索引,或者以为 text 用的是别的数据结构。实际上,两者底层用的都是倒排索引,这一点很多人搞错。
区别只在于词条的粒度。keyword 的倒排索引里,一个文档的这个字段就是一个词条,索引体积小、匹配速度极快,但它只能做完整值的精确匹配。text 的倒排索引里,一个文档的这个字段会对应多个词条,索引体积更大,但它能支持“包含某个词就命中”的检索需求。
理解了这个底层逻辑,你就能明白:给 keyword 字段加过滤器(比如查询状态为 pending_payment 的所有订单)为什么那么快还不占什么内存;反过来,给 text 字段做聚合为什么会吃紧——因为它的词条被拆散了,聚合出来的结果是一个个碎片化的词,而不是完整的字段值。
2.3 查询端的差异:match 会分析,term 不分析
text 和 keyword 的差异不仅在写入端,查询端同样关键。这直接导致了很多人的“搜索不到”问题。
本身为 text 设计的 match 查询,在执行时会对你输入的查询词做和写入时一样的分析处理。比如查询 match “全文检索”,查询词被翻成 [全文, 检索] 或 [全文检索] 后再去倒排索引匹配。所以 match 对 text 字段,是“分析对分析”,天然配套。
而 term 查询完全不分析查询词,你传什么,它就拿着什么去索引里找。当字段类型是 keyword 时,term 找的是完整词条,这没问题;当字段类型是 text 时,term 找的其实是分词后的碎片词条——也就是说,你得碰巧查到某一个分词结果,才能命中。很多人对 text 字段用 term 查“全文检索实战指南”,当然查不到,因为这个完整字符串在索引里根本不存在,它已经被拆成好几个词条了。
有一种很典型的现象:term 查询 text 字段偶尔能查到数据,就会误导人以为“term 也能查 text”。其实那只是因为你查询的词碰巧等于某个分词词条。这种写法极不稳定,一旦换一个查询词就废了。我的建议很简单:全文匹配老老实实用 match,精确匹配的字段就设成 keyword。
2.4 双字段方案 multi-fields:成年人不做选择题
实际项目中你经常会遇到一个字段既要支持全文检索,又要支持精确匹配和聚合。比如文章的标题,用户既希望搜索“Elasticsearch 全文检索”时能模糊命中,管理员后台又希望能按标题精确筛选、按标题排序。
这时候成年人的选择不是二选一,而是两个都要:用 multi-fields 把一个字段同时映射成 text 和 keyword。映射大概是这个意思:
这样写入时,title 字段既会走分词流程支持全文检索,同时完整的原始值也会作为一个整体存到 title.keyword 子字段里,支持精确匹配、聚合、排序。搜索引擎部分用 title,后台筛选排序用 title.keyword,一个字段解决两种需求。
不过要注意:multi-fields 不是免费的,双字段意味着双份索引存储,索引体积会变大;写入性能也会受一定影响。所以不要无脑给所有字段都套上双字段结构,要按实际业务需求来。
3. 别再背口诀了:按真实场景对号入座来选
关于 text 和 keyword 的选择,网上流传着很多口诀,比如“需要分词就 text,不需要就 keyword”。这句话方向没错,但实际业务远没那么简单。我更推荐你把选型建立在一组明确的判断问题上。
3.1 选型前先问自己三个问题
每遇到一个字符串字段,我都会强迫自己先回答:
- 用户会不会对这个字段做“包含某词就算命中”的模糊搜索? 需要模糊搜索,
text;只需要完整值匹配,keyword。 - 这个字段后面要不要做聚合、排序、去重? 要的话,如果没有特殊的排序算法需求,走
keyword子字段更稳。 - 字段值有长度上限吗?会不会超过 256 个字符? 会的话,直接设
keyword要谨慎,因为keyword在 Elasticsearch 中有默认的ignore_above参数,超过上限的字段值不会被索引,后面我会讲这个坑。
这三个问题问完,80% 的字段基本就能当场拍板。
3.2 这些字段,无脑选 keyword 也行
如果你的业务里有下面这些字段类型,直接 keyword,不用犹豫:
- 状态、枚举类:订单状态
pending_payment、paid、shipped;审核状态approved、rejected。这些字段一辈子就是几个固定值,用户只会精确筛,不需要分词。 - ID、编码类:用户 ID、订单号、SKU 编码、手机号、身份证号、邮箱地址、URL。它们通常是完整匹配或者范围过滤,拆词反而会出问题。
- 标签类:商品的标签、文章的分类、用户的兴趣标签。这类值虽然可能包含多个词,但业务上一般按精确匹配处理。
- 需要聚合统计的字段:按品类聚合商品数量、按城市聚合用户分布,聚合的字段必须是
keyword(或numeric等非 text 类型)。
对了,补充一句:有些人喜欢把所有 keyword 字段都叫 keyword,其实很多 ID 类字段更推荐用 long 或 integer,数值类型在范围查询和排序上更高效。如果 ID 是纯数字,先考虑数值类型。
3.3 这些字段,就该交给 text
需要“按词找内容”的场景,就是 text 的领地:
- 文章正文、商品描述、评论内容:用户输入任何一个关键词,都有可能构成一个合法的搜索需求,比如搜“降噪”“防水”“无线”。这些字段必须分词,必须走全文检索。
- 商品标题、文章标题(但通常要配合 keyword 子字段):搜索主路径走
text没问题,但如果后台需要按标题精确筛选、导出排序,别忘记加keyword子字段。 - 收货地址、日志信息:这类内容用户可能只记得其中一部分内容,想靠片段回忆或检索,必须分词。
3.4 一个实际电商搜索的例子,看完就通透了
假设你要做一个电商搜索页,涉及商品名称、品牌、颜色、价格、库存状态这几个字段。我来演示一下完整的选型思路:
name:用户会搜“iPhone 15 黑色”,需要模糊匹配,选text。同时运营后台要按商品名精确筛选排序,所以建议multi-fields加上keyword子字段。brand:品牌名就那几个,用户选“Apple”是要精确筛,不做分词,选keyword。color:颜色是枚举值,选keyword。但注意中文场景下颜色词可能不止一个 tags,比如“深空灰色”,如果你希望搜“灰色”也能命中,那就需要考虑分词方案或用多标签字段。price:数值类型,选double或scaled_float,这和本文主旨无关但同样重要。stock_status:库存in_stock/out_of_stock,精确匹配,选keyword。
这样选完,搜索主路径(商品名称模糊匹配)是通的,后台筛选(品牌、颜色、库存)是通的,聚合统计(按品牌、颜色聚合)也是通的,没有明显的坑。
4. 现实中的检索从来不是单选题:组合拳才是常态
把 text 和 keyword 选对以后,还有一个更高阶的问题:一套检索系统里,它们是怎么协同工作的?
4.1 bool query 拼接关键词、全文与过滤条件
实际业务中几乎不会有“一个输入框、一个字段、一种匹配方式”这么简单的事。更常见的需求是:用户输入一段话,系统同时完成关键词精确匹配、全文模糊匹配和条件过滤。
典型的查询结构是这样。用户搜“iPhone 15”,页面左侧还有“颜色:黑色”“品牌:Apple”的筛选条件。你的查询大概长这样:
这里的 match 走的是 name 的 text 字段,负责召回语义模糊匹配的商品;两个 term 走的是 brand、color 的 keyword 字段,负责精确过滤,而且放在 filter 里是不参与打分的,不影响 match 的相关度排序,查询性能也更好。
这段查询基本代表了常规搜索系统的标配:全文检索负责“找”,关键词检索/过滤负责“筛”。很多人抱怨 Elasticsearch 查不准,其实不是引擎的问题,而是把该筛的放进了 must,把该搜的放进了 filter,整个逻辑就乱了。
4.2 哈,别忘了语义检索这条新腿
现在很多团队会在 Elasticsearch 里加语义检索。比较常见的做法是:用 Embedding 模型把文档正文转成向量存入 dense_vector 字段,查询时把用户输入也转成向量,然后做 kNN 搜索。
这样做的价值,主要体现在“表达差异”上。举个例子,用户搜“怎么退换货”,传统全文检索只能命中包含“退换货”字样的文档,但语义检索能找到“申请退款”“退货流程”“换货政策”这些内容,因为它们的向量在语义空间里距离更近。
但我的建议是,不要一上来就用语义检索替代全文检索。更稳妥的方案是“两条腿走路”:传统检索负责精确召回和可解释性,语义检索负责扩展召回长尾表达。然后通过 bool 查询把两个结果合并,用 boost 控制权重,或者直接使用 RRF 之类的融合算法做排序融合。
要警惕一个问题:语义检索的向量召回里,偶尔会出现“距离近但业务上不相关”的结果。比如两篇文档都在讲“苹果手机维修”,但一篇是官方维修点介绍,一篇是第三方换屏广告,模型可能觉得它们挺像,而用户只想要官方信息。这种时候,keyword 字段的精确过滤条件反而是最后的防线。
4.3 排序权重分配:让“最像的”排在最前
混合检索跑通之后,下一个难点是排序。我的经验是:先给各条检索路径赋予明确的职责和权重。
- 精确匹配(
match_phrase或term)的权重最高,因为用户输入的关键词完整出现,代表需求最明确; - 全文匹配(普通
match)居中; - 语义相似度(
knn)作为扩展召回,权重低一些,避免“太像但偏题”的结果顶到前面。
在查询里可以这样操作:用 function_score 把不同路径的分数加权汇总,然后统一排序。
这里 should 里的三个子句都会参与打分,你能通过对每个子句设置 boost 来控制“谁的贡献更大”。这个比例没有标准答案,不同业务差异很大,建议先小流量测试再定参数,别拿生产环境当试验场。
5. 我在生产环境里踩过的选型坑,希望你别再踩
这部分是全文最想让你记住的内容。以下四个坑,每一个都是我亲自踩过、并且帮别人排查过无数次的真实事故。
5.1 坑一:订单状态字段设成 text,聚合结果直接看不懂
有次接了个订单管理的需求,同事把订单状态字段 status 设成了 text,理由是“万一以后要多语言展示”。结果上线第一天,后台的“按状态统计订单数”图表就炸了:图例不是 pending_payment、paid、shipped,而是一堆拆散的词——payment、paid、ship 之类的碎片。
这就是 text 字段聚合的真实结果:分词器会把 pending_payment 拆成 [pending, payment],聚合时它不会按完整值归类,而是按分词后的词条归类。整个统计彻底失去意义。
这类字段的正确答案非常明确:枚举状态用 keyword,干脆利落。如果非要考虑多语言展示,那是前端国际化的问题,不应该拿数据类型去迁就。
5.2 坑二:给长文本设 keyword,ignore_above 让你悄悄丢数据
Elasticsearch 的 keyword 字段有一个默认行为:字段值超过 ignore_above(默认 256 字符)时,这个值不会被索引,但它依然存在原始文档里。什么意思呢?就是数据看起来还在,文档也能通过 _id 查出来,但任何对它的搜索、过滤、聚合都查不到它。非常隐蔽。
有次排查一个“文档明明在库里但搜不到”的问题,查了半天最后发现:一个备注字段用了 keyword,某个用户填了一长串备注超过 256 字符,于是那条记录的备注就“隐形”了。
所以当你决定用 keyword 时,先想清楚这个字段会不会有超长值。如果可能超长,要么改用 text,要么在 mapping 里显式调整 ignore_above 到你预期的上限。但说实话,超过 256 字符的内容还想要精确匹配的场景极少,该选 text 就选 text。
5.3 坑三:对 text 字段用 term 查询,明明有数据却搜不到
这是社区里出现频率最高的经典问题。“我的字段是 text,为啥 term 查询不到?”
前面原理部分讲过原因:term 查询不会对查询词做分析,而 text 字段在写入时已经被分词了。你搜的是完整字符串,索引里存的是拆分后的词条,自然对不上。
有些同学发现搜“Apple”能中,就觉得 term 也能查 text。其实只是因为 Apple 恰好被分成了单独的词条。你的查询词一换,比如改成“Apple iPhone”,立刻失灵。这套逻辑非常不稳定,强烈不建议在生产环境这么写。
正确的姿势两种:全文检索用 match;精确匹配字段用 keyword。就这么简单。
5.4 坑四:Mapping 建好后才发现选错,reindex 成本超出想象
Elasticsearch 的 mapping 一旦建立,字段类型是不能修改的。你没有办法把已经建好的 text 字段直接改成 keyword,也没办法反过来改。发现选错之后,唯一正规的路是重建索引:创建新索引(带着正确的 mapping)→ 用 reindex 把老数据搬过去 → 用 alias 切换读写流量 → 验证后删掉旧索引。
这套流程在小数据量下五分钟搞定,但在上亿文档的索引上,光 reindex 就要跑很久,而且中间还要处理增量数据同步的问题,运维成本远比你想象的高。
这也是为什么我反复强调“一开始就要选对”:选型错误的代价不是在写入时爆发的,而是在上线后某个深夜,当你发现聚合结果不对、搜索命中率异常时,才意识到要付出几小时的 reindex 代价。到那时候你才明白,当初那句“用 text 吧,方便”到底有多贵。
5.5 我个人现在的选型习惯
踩了足够多的坑之后,我现在的习惯非常简单:
- 字符串字段先过一遍那三个判断问题;
- 拿不准的字符串,默认
multi-fields(text+keyword子字段),虽然费一点存储,但给未来留足了操作空间; - 明确是枚举、状态、ID、编码的,直接
keyword; - 明确是正文、描述、长文本的,直接
text,同时一定配好分词器; - 需要远程语义召回的大文本字段,额外加一个
dense_vector子字段,走混合检索。
还有一个经常被忽略的小建议:如果 keyword 字段需要支持大小写不敏感的匹配,记得给字段配 normalizer。中文场景下这个需求没那么明显,但英文品牌词、邮箱、URL 场景很实用。配置一个简单的小写 normalizer,就能让 term 查询做到“Apple”和“apple”都能命中,别等到上线后用户反馈“为什么搜小写搜不到”才后悔。