社区
七月在线的课程社区_NO_6
自然语言处理入门
帖子详情
基于统计的翻译系统
七月在线
2023-01-13 03:11:16
课时名称
课时知识点
基于统计的翻译系统
基于统计的翻译系统 知识点1: 语言模型与翻译模型 知识点2: 对齐模型 实战项目: 基于统计的翻译系统搭建
...全文
69
回复
打赏
收藏
基于统计的翻译系统
课时名称课时知识点基于统计的翻译系统基于统计的翻译系统 知识点1: 语言模型与翻译模型 知识点2: 对齐模型 实战项目: 基于统计的翻译系统搭建
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
NLP——8.基于
统计
的
翻译
系统
基于
统计
的机器
翻译
:mosesdecoder作为比对
翻译
效果的baseline,如果不如这个的效果,就说明测试
系统
效果不算好。 首先看看一共需要以下三个模型: 语言模型:用来评估这句话的通畅程度。 1、需要从大量的语料中学习出在新的句子知道对应的英语
翻译
是什么。 2、
翻译
模型:实质是基于短语的(不是基于单词的
翻译
) 3、平行语料:只要中英文两个文件中行是相同的,那他们就是相互对应的中英文 4、在大量的平行语料中学习出该怎样去完成。可能会对词进行一些表示,例如word2vec等将文字表示为计算机能读懂的向量
基于
统计
的开源
翻译
系统
介绍
到目前为止,多个开源的SMT
系统
已经开发出来,在完成许多
翻译
任务中有着先进惊人的性能,如中国的英语和阿拉伯语的英文
翻译
。这些
系统
中的一些重点使用基于短语的模型(如摩西),且多年来已经已被广泛用于社区,而其他人试图用层次模型(如Joshua)处理不同语音之间的句法结构的变化。虽然这些
系统
和其使用的方法都能得到很有竞争力的
翻译
质量,但是他们的侧重点不一样,也有着不同的长处和弱点。以下我将对目前开源的S
(7-2)机器
翻译
算法:
统计
机器
翻译
(SMT)
SMT的核心思想是通过
统计
模型学习源语言和目标语言之间的对应关系,然后使用这些模型来进行
翻译
。限制上下文理解:SMT主要基于局部短语和句子级别的
翻译
模型,因此对上下文理解有限,难以处理长文本和复杂的句子结构。固定
翻译
模型:SMT的
翻译
模型是基于
统计
概率的,因此不具备语言理解或推理能力,难以捕捉语言中的含义和多义性。低资源语言困难:SMT在对少见语言或资源稀缺语言进行
翻译
时面临困难,因为它需要大量的双语数据来进行训练。
基于LLM的零样本多语言
翻译
系统
本文提出了一种基于LLM的零样本多语言
翻译
系统
,利用LLM的零样本学习能力,实现无需平行语料的多语言
翻译
。通过提示工程和上下文学习,我们优化了LLM在多语言任务中的表现,使其能够在没有显式训练数据的情况下,实现高质量的
翻译
。本文提出了一种基于LLM的零样本多语言
翻译
系统
,利用LLM的零样本学习能力,实现无需平行语料的多语言
翻译
。通过提示工程和上下文学习,我们优化了LLM在多语言任务中的表现,使其能够在没有显式训练数据的情况下,实现高质量的
翻译
。提示工程在基于LLM的零样本多语言
翻译
系统
中起到了关键作用。
MOSES
统计
机器
翻译
系统
实现过程
MOSES安装以及初级说明 作为初学者对MOSES现在也没有什么深入的了解就在这里嫌丑,浅显的介绍一下。 首先是moses的官网:http://www.statmt.org/moses/ 里面资料很详细,可以下载说明文档(manual.pdf)按照文档里面的提示一步步进行,一般来说整体只要依照这个步骤就没有问题 我现在本机上安装的moses,然后又在服务器上进行的运行,所以安装经验是本机的
七月在线的课程社区_NO_6
1
社区成员
115
社区内容
发帖
与我相关
我的任务
七月在线的课程社区_NO_6
复制链接
扫一扫
分享
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章