中文分词切分技术研究下载

weixin_39821051 2019-08-02 09:30:24
本文分析了现有的基于词典的分词算法，在比较各种算法优缺点的基础上提出了将正向匹配算法与逆向匹配 算法所得到的结果集进行叠加，生成粗分结果集的新观点，再对生成的粗分结果集构造非负权有向图，最后应用最短路径算法求解有向图。通过Nutch实验验证，该算法较Nutch原始搜索系统提高了其汉语切分的准确性以及切分速度，同时部分解决了交集型歧义切分问题。
相关下载链接：//download.csdn.net/download/wsde002/4232614?utm_source=bbsseo
...全文
24 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
中文分词切分技术研究
本文分析了现有的基于词典的分词算法，在比较各种算法优缺点的基础上提出了将正向匹配算法与逆向匹配 算法所得到的结果集进行叠加，生成粗分结果集的新观点，再对生成的粗分结果集构造非负权有向图，最后应用最短路径算法求解有向图。通过Nutch实验验证，该算法较Nutch原始搜索系统提高了其汉语切分的准确性以及切分速度，同时部分解决了交集型歧义切分问题。
1120192236-赖昱行-中文分词发展与技术研究(1)1
摘要I第 1 章 中文分词的必要性和问题 11.1 必要性 11.2 问题 11.2.1 缺乏统一的分词标准 11.2.2 切分歧义 21.2.3 未登录词 2
隐马尔科夫算法：中文分词神器
本课程首先以一个简单的应用案例介绍了隐马尔科夫算法和隐马尔科夫能解决的三类问题，并构造隐马尔科夫五元组。由此引出了隐马尔科夫分词算法，并以分词实际应用为例，介绍了隐马尔科夫分词算法的整个逻辑包括参数矩阵如何训练。同时演示并提供了隐马尔科夫分词的源码。在课程最后介绍了两种其他类型的分词算法并类比于隐马尔科夫介绍了算法的优缺点。
论文研究-中文文本语料库分词一致性检验技术的初探.pdf
对大规模语料库中的分词不一致现象进行分析，提出了语料库分词一致性检查和校对的新方法。该方法提取词与词之间语法、语义搭配信息，利用支持向量机的理论对候选序列进行判断，给出一个切分结果，进而提高汉语语料库切分的准确率。
藏文自动分词中未登录词处理方法研究 (2012年)
藏文中后接成份出现频率较高，分词中未登录词的后缀单切现象会影响分词的正确率，为此，采用词(语素)+缀归并的方法，将藏文后接成份与前一词(语素)归并为一个切分单位输出。针对藏文中大量人名、地名、单位名等未登录词在分词时出现的碎片切分现象，使用分词碎片整合方法，将多次出现的词条碎片整合为一个切分单位输出。实验结果表明，2种方法能提高藏文自动分词的识别正确率。
下载资源悬赏专区

12,891

社区成员

12,444,186

社区内容

发帖
与我相关
我的任务
社区描述
CSDN 下载资源悬赏专区
其他 技术论坛（原bbs）
社区管理员
  • 下载资源悬赏专区社区
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章