关于发现新词中字词“内部凝聚度”的问题。

wa-king 2022-09-06 17:52:08

 根据传统的方法计算一个三字的内部凝聚度,有两种切分方式,取其中最小值作为内部凝聚度的衡量。但是为什么不直接采用全分割的方式计算呢?(在图片中标出)对于一个n字词,总是要计算n-1种分割取其中分割方式的最小值吗?

 

...全文
166 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
Alexxinlu 2023-02-14
  • 打赏
  • 举报
回复

你说的这种全分割应该也是可以的,我看到一个就是全分割的,比如下图:

img


出自:https://www.jianshu.com/p/9b8bf8bb197c

这个地方的切分方式应该是由你自己定的,跟分词器应该也有点关系

wa-king 2023-02-22
  • 举报
回复
@Alexxinlu 我最近再看了一遍大概明白了,因为词典里有 电影 和 影院,所以给出了两种分词方案。不会出现全部分开的方案,确实是分词器导致的

682

社区成员

发帖
与我相关
我的任务
社区描述
自然语言处理实战,讨论算法、模型、服务、应用。请具体描述问题,提出问题。
算法推荐算法人工智能 个人社区
社区管理员
  • community_282
  • SoftwareTeacher
  • Alexxinlu
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

自然语言处理实战。

试试用AI创作助手写篇文章吧