拼写纠错任务

迪哥有点愁了 2023-01-12 22:44:06

课时名称	课时知识点
拼写纠错任务

...全文

296 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

MD-CSC多领域中文拼写纠错数据集.zip

基于python的贝叶斯乒协纠错实例编程，简单易学，好上手

实现了Kenlm、ConvSeq2Seq、BERT、MacBERT、ELECTRA、ERNIE、Transformer等多种模型的文本纠错，并在SigHAN数据集评估各模型的效果。

https://blog.csdn.net/kobeyu652453/article/details/106905191 该篇博文所用词库。如何用请参考博文

SpellCorrect 一、工作原理拼写纠错这是一个单词拼写纠错程序。分为客户端与服务端。客户端使用select多了IO实现，轮询监听用户输入与服务端socketfd的输入。服务端使用线程池实现。服务端主线程负责接收用客户端请求，将客户端请求词封装成任务，再用锁机制将任务添加到线程池中的任务队列中。工作线程通过互斥量和条件变量访问任务队列，实现线程同步，使得线程池有序工作。每个工作线程独立完成自己的任务：到索引中查询包含构成该单词的所有字母的单词的下标。为了避免重复查询和计算，先将所用的字母对应的单词的下标集合进行取交集，得到唯一的单词的下标的集合。再遍历集合到词典中进行查找，同时计算单词与查询词的最小编辑距离（Min Eidt Distance），将查找出的单词封装成一个对象（包含单词、词频、最小编辑距离）,放入优先级队列中；优先级队列的排序

唐宇迪的课程社区_NO_5

1

社区成员

1,054

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章