NGram模型

王而川 2023-01-12 23:40:18

课时名称	课时知识点
NGram模型

...全文

191 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

# 基于Ngram模型的中文文本纠错系统 ## 项目简介该项目通过Ngram模型与Perplexity（PPL）指标实现中文文本的简单纠错。主要利用Ngram语言模型预测文本中字符替换后的概率提升，从而进行文本纠错。项目适用于学习Ngram模型的计算和PPL评价指标的应用。 ## 项目的主要特性和功能 1. Ngram模型实现通过训练语料库建立Ngram语言模型，用于预测文本中字符替换后的概率。 2. PPL指标应用利用Perplexity指标评估替换字符后句子的概率提升，决定是否进行纠错。 3. 同音字替换引入同音字字典，辅助纠正常见的同音错别字。 4. 阈值控制设定阈值，只有当替换字符后句子的概率提升超过阈值时，才进行替换，控制纠错精度。 ## 安装使用步骤 1. 复制项目代码 bash 2. 运行代码 bash python .correct.py ## 文件结构介绍

N-Gram（有时也称为N元模型）是自然语言处理中一个非常重要的概念，通常在NLP中，人们基于一定的语料库，可以利用N-Gram来预计或者评估一个句子是否合理。另外一方面，N-Gram的另外一个作用是用来评估两个字符串之间的差异程度。这是模糊匹配中常用的一种手段。本文将从此开始，进而向读者展示N-Gram在自然语言处理中的各种powerful的应用。

NGram NGram Model smooth new word 该项目实现了NGram模型，但主要实现2元和3元语法模型，主要涉及的技术包括NGram生成、起始字符统计、平滑技术，此外还包括一些应用，比如新词发现。目前该项目还有待完善。

基于MP最大概率的Ngram汉语切分（北邮计算机语言学基础）有简洁的说明文档和python源代码

ngram-语言模型一个 HMM Ngram 语言模型在 Python 中的实现。目前实现了基本的 NGram 分析，并提供了一个接口来从你最喜欢的语料库中创建采样器。使用 run_sampling_from_corpus.py 在文本文件中的语料库上创建训练样本。有关输入参数的更多信息，请键入 run_sampling_from_corpus.py -h 为了获得更多控制，您可以从实用程序模块导入 SentenceSamplerUtility 类，该类为采样器构造机制提供了方便的包装器。来自古腾堡计划（包含在测试目录中）的 Edgar Allan Poe 作品集训练的三元模型的一些亮点： "And yet all was blackness and vacancy." "Notwithstanding the obscurity which thus oppres

王而川的课程社区_NO_3

1

社区成员

84

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章