中文语法纠错融入句法信息后出现叠字现象

weixin_62086115 2023-04-26 23:35:08

大佬们，我在BART的input层加入了父亲节点的信息，但是现在训练出来的语料会有很严重的重字和叠字现象，可能是什么原因造成的呢？跪求大佬，指导一下我该从什么样的地方入手解决这个问题。

...全文

68 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

幻灰龙 05-16

打赏
举报

回复

不加入前呢？

bert仅仅基于attention，没有考虑词性、对上下文信息也仅仅用了embedding，仅仅用语义信息，会出现错判。在训练中，融入词性、句法信息、停用词，以改善这个现象 ...

关键字：Hyper 、中文、重叠。Hyper 是一个基于 Web 技术的 Terminal 软件，跨平台，非常漂亮，但是尝试使用的时候发现其对中文得支持并不好，会出现叠字得现象。让 Hyper 正常显示中文，有两个方案。

最近在七月在线APP刷题，这个关于中文分词的解析非常详细，就手敲一份，加深印象，也做分享。中文分词的基本方法可以分为基于语法规则的方法、基于词典的方法和基于统计的方法。基于语法规则的分词法基本思想是在分词的同时进行句法、语义分析，利用句法信息和语义信息来进行词性标注，以解决分词歧义现象。因为现有的语法知识、语法规则十分笼统、复杂，基于语法和规则的分词法所能达到的精确度远远还不能令人满意，目...

分词方法　　目前的分词方法归纳起来有3 类: 　　第一类是基于语法和规则的分词法。其基本思想就是在分词的同时进行句法、语义分析, 利用句法信息和语义信息来进行词性标注, 以解决分词歧义现象。因为现有的语法知识、句法规则十分笼统、复杂, 基于语法和规则的分词法所能达到的精确度远远还不能令人满意, 目前这种分词系统还处在试验阶段。　　第二类是机械式分词法（即基于词典）。机械分词的原理是将文档

中文分词的基本方法可以分为基于语法规则的方法、基于词典的方法和基于统计的方法。基于语法规则的分词法基本思想是在分词的同时进行句法、语义分析, 利用句法信息和语义信息来进行词性标注, 以解决分词歧义现象。因为现有的语法知识、句法规则十分笼统、复杂, 基于语法和规则的分词法所能达到的精确度远远还不能令人满意, 目前这种分词系统应用较少。在基于词典的方法中，可以进一步分为最大匹配法，最大概率法，最短路径法等。最大匹配法指的是按照一定顺序选取字符串中的若干个字当做一个词，去词典中查找。根据扫描方式可细分为：正向

自然语言处理(NLP)

571

社区成员

184

社区内容

发帖

与我相关

我的任务

算法推荐算法人工智能个人社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

自然语言处理实战。

试试用AI创作助手写篇文章吧

+ 用AI写文章