关于php分词搜索准确率，求思路

oqqNick85557692 2017-03-22 08:46:14

小弟最近做一个商城的搜索功能

使用scws分词成功，不过在下一步查询数据库时有点疑惑

举个例子：搜索关键词【好看的男装】

分词结果：好看，的，男装，男，装

如果sql用 where 字段 like ‘ %关键词% ’ or 字段 like ‘ %关键词% ’ 这种方式的话，由于【装】存在很容易把女装一并搜索出来。

如果sql用 where 字段 like ‘ %关键词% ’ and 字段 like ‘ %关键词% ’ 这种方式的话，搜索出的内容又相当的少

请问一下各位php在关于检索开发商，有没有一些准确成熟的开发思路提供参考

...全文

242 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

Frank_cic 2017-03-23

打赏
举报

回复

既然使用分词就不要用like. 效率极其低下. "男","装" 这已经属于字的范畴,如果你要这样搜的话何必分词? 全部拆成单字好了 #2楼建议不错,coreseek完全满足一般需求,内带mmseg中文分词,你的scws也可以省了.缺点是coreseek已经无人维护.

果酱很好吃 2017-03-23

打赏
举报

回复

用 sphinx 吧，或者基于 sphinx 的 coreseek 中文检索引擎

xuzuning 2017-03-23

打赏
举报

回复

由于【装】存在很容易把女装一并搜索出来。这个说法是不妥当的，其实如果存在女装的话，那就一定会搜索出来单个字不是词！

SCWS：　　Author：Hightman 算法：基于词频词典的机械中文分词引擎，采用的是采集的词频词典，并辅以一定的专有名称，人名，地名，数字年代等规则识别来达到基本分词 准确率：经小范围测试大概准确率在 90% ~ 95% 之间，已能基本满足一些小型搜索引擎、关键字提取等场合运用。性能：45Kb左右的文本切词时间是0.026秒，大概是1.5MB文本/秒，语言和平台：SCWS

一、常见的中文分词方案1. 基于字符串匹配（词典）基于规则的常见的就是最大正/反向匹配，以及双向匹配。规则里糅合一定的统计规则，会采用动态规划计算最大的概率路径的分词. 以上说起来很简单，其中还有很多细节，比如词法规则的高效匹配编译，词库的索引结构等。常见的基于词典的分词算法分为以下几种：正向最大匹配法、逆向最大匹配法和双向匹配分词法等。2. 基于统计以及机器学习的分词以CRF为主，也有用

文章目录前言英文分词方法1.古典分词方法2.基于子词的分词方法（Subword Tokenization）2.1 BPE2.2 WordPiece2.3 Unigram Language Model中文分词方法1.基于规则的分词2.基于统计的分词3.混合分词4.基于深度学习的分词前言学习笔记【NLP英文分词方法和中文分词方法】机器无法理解文本。当我们将句子序列送入模型时，模型仅仅能看到一串字节，它无法知道一个词从哪里开始，到哪里结束，所以也不知道一个词是怎么组成的，为了帮助机器理解文本就需要： 1将

SCWS：
Author：Hightman
算法：基于词频词典的机械中文分词引擎，采用的是采集的词频词典，并辅以一定的专有名称，人名，地名，数字年代等规则识别来达到基本分词
准确率：经小范围测试大概准确率在 90% ~ 95% 之间，已能基本满足一些小型搜索引擎、关键字提取等场合运用。
性能：45Kb左右的文本切词时间是0.026秒，大概是1.5MB文本/秒，
语言和平台：SCWS 采用纯 C 代码开发，以 Unix-Like OS

转载自： http://www.scholat.com/vpost.html?pid=4477 常用的开源中文分词工具由于中文文本词与词之间没有像英文那样有空格分隔，因此很多时候中文文本操作都涉及切词，这里整理了一些中文分词工具。一般来说用CRF实现的分词工具的处理速度是比较慢的（训练CRF模型是非常耗时的），但是精度高，涉及CRF的分词工具有CRF++，Stanford分词

21,893

社区成员

140,347

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章