详解机器翻译任务中的BLEU

深度学习领域优质创作者

2022-07-06 19:20:08

https://blog.csdn.net/raelum/article/details/125632699?spm=1001.2014.3001.5501

...全文

297 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

CSDN-Ada助手 2023-01-13

打赏
举报

回复

您可以前往 CSDN问答-编程语言发布问题, 以便更快地解决您的疑问

摘要: - 数据准备:构建大规模平行语料,分词和清洗。划分训练、验证和测试集。 - 模型构建:使用预训练BERT作为Encoder,Transformer为Decoder。加入Attention层。 - 模型训练:Adam优化器。调整超参数,保存最佳模型。 - 翻译推断:输入源文本,生成目标翻译。Beam Search产生多个候选。 - 模型部署:封装翻译API接口。支持扩展和加速。 - 效果评估:BLEU、ROUGE自动评估。人工评估+错误分析。 - 通过BERT表示学习,可以建立高效的机器翻译模型。 - 按步骤实现,不断优化,是获得好的翻译效果的关键。

BLEU，CIDEr，ROUGE-L，METEOR,记录了本人在学习这几个指标中遇到的痛点，难点和易混淆区别单一样本，和数据集，级别的不同计算区别,适配场景，指标计算评估角度区分,以及不同指标是如何针对单个hyp推理句子和多个ref参考句子进行计算的,本篇笔记为本人在学习VideoCaption指标评价的个人笔记，记录了每个指标的详细计算流程，个别指标的计算样例

用于机器学习使用的、可以在自己的服务器搭建环境后直接运行即可

演示如何使用Transformer模型进行机器翻译的任务。这个示例使用Python和PyTorch库。首先，确保你已经安装了PyTorch库。然后，你可以按照示例代码进行操作代码演示了如何使用Transformer模型进行机器翻译的任务。它使用torchtext库加载和预处理Multi30k数据集，定义了Transformer模型，并使用Adam优化器和交叉熵损失函数进行训练。训练过程中，输出每个epoch的训练损失和验证损失。最后，在测试集上评估模型的性能。请注意，这只是一个简单的示例代码，实际应用中可能需要进行更多的调整和改进。但希望这个示例能够帮助你更好地理解Transformer模型的应用。

基于词统计的机器翻译，词统计的模型，方法和示例。

北京航空航天大学

1,811

社区成员

60

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章