标签：Bleu 中文 参考 翻译 机器翻译 最佳 译文 自然语言

强烈推荐一个项目：Chinese NLP ，这是由滴滴人工智能实验室所属的自然语言处理团队创建并维护的，该项目非常细致的整理了中文自然语言处理相关任务、数据集及当前最佳结果，相当完备。

项目主页：https://chinesenlp.xyz

Github: https://github.com/didi/ChineseNLP

这个项目里面目前包含了18个中文自然语言处理任务，以及一个其他类别：

每个子任务下面，会详细介绍相关的任务背景、示例、评价指标、相关数据集及当前最佳结果。以中文分词为例，除了我们熟悉的backoff2005数据集外，还有一些其他数据来源：

再看一下机器翻译任务，关于评价指标，描述的相当详细：

• 直接评估（人工评判）。Amazon Mechnical Turk上的标注人员会看到一个系统生成的翻译和一个人工翻译，然后回答这样一个问题：“系统翻译有多么精确的表达了人工翻译的含义？”

• Bleu score (Papineni et al 02 ).

  • 大小写敏感 vs. 大小写不敏感

  • Brevity penalty 触发条件: 当机器翻译结果短于最短的参考译文 (reference) 或者短于最接近的参考译文 (reference)。

  • brevity penalty: 一个系数，用来惩罚长度短于参考翻译的机器翻译结果。

  • 标准的Bleu计算流程会先对参考译文和机器翻译结果进行符号化 (tokenizition)。

  • 如果中文是目标 (target) 语言, 则使用字符级别 {1,2,3,4}-gram匹配。

  • 当只有1条人工参考翻译译文时使用Bleu-n4r1评估。

  • Bleu-n4r4: 词级别 {1,2,3,4}-gram 匹配, 与4条人工参考翻译译文比较

  • 标准Bleu有很多重要的变种:

• NIST. Bleu的一种变体，赋予少见的n-gram更高的权重。

• TER (Translation Edit Rate). 计算机器翻译与人工参考译文之间的编辑距离 (Edit distance)。

• BLEU-SBP ((Chiang et al 08)[http://aclweb.org/anthology/D08-1064] ). 解决了Bleu的解耦（decomposability) 问题，在Bleu和单词错误率取得一个折中。

• HTER. 修改为一个良好的翻译所需要的人工编辑次数 (the number of edits)。

  
  

机器翻译相关语料资源方面，也包括我们比较熟悉的联合国语料库和AI Challenger：

其他相关任务感兴趣的同学可以自行参考，这是一个相当不错的了解当前中文NLP相关任务的参考点，感谢建设和维护该项目的同学。

点击阅读原文，直达该项目主页。

标签：Bleu,中文,参考,翻译,机器翻译,最佳,译文,自然语言
来源： https://blog.51cto.com/15060464/2678646

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。