首页 IT教程

在NLP当中,不同的评价指标,BLEU, METEOR, ROUGE和CIDEr的逻辑意义?

时间:2020-05-02 07:32:04 分类:IT教程

cider

链接:https://www.zhihu.com/question/304798594/answer/567383628

这些指标都是用于在有监督的情况下评价文本生成质量的,大概做法都是比较某条候选文本(一般是机器生成的)和其他若干参考文本(一般是人类标注的)的相似性,不过适用场合略有区别:BLEU, METEOR, ROUGE 一般在翻译里用,CIDEr 一般在图像字幕生成里用。

1、BLEU 是最早提出的机器翻译评价指标,是所有文本评价指标的源头,怎么吹都不为过。这也是现在机器翻译评价的事实标准,有标准的 perl 测评脚本,这样大家用起来就不会有什么实现上的偏差;Python 实现也很多,我记得 NLTK 工具箱里就有。

BLEU 的大意是比较候选译文和参考译文里的 n-gram(实践中从 unigram 取到 4-gram) 重合程度,重合程度越高就认为译文质量越高。选不同长度的 n-gram 是因为,unigram 的准确率可以用于衡量单词翻译的准确性,更高阶的 n-gram 的准确率可以用来衡量句子的流畅性。

这是一个只看中准确率的指标,就是说更加关心候选译文里的多少 n-gram 是对的(即在参考译文里出现了),而不在乎召回率(参考译文里有哪些 n-gram 在候选译文中没出现)。不过这不算特别严重的问题,因为 BLEU 原论文建议大家的测试集里给每个句子配备 4 条参考译文,这样就可以减小语言多样性带来的影响(然而现在很多机器翻译的测试集都是只有 1 条译文,尴尬= =);另外还有 brevity penalty 来惩罚候选译文过短的情况(候选译文过短在机器翻译中往往意味着漏翻,也就是低召回率)。

但总的来说,现在还是普遍认为 BLEU 指标偏向于较短的翻译结果(brevity penalty 没有想象中那么强)。

2、METEOR 大意是说有时候翻译模型翻译的结果是对的,只是碰巧跟参考译文没对上(比如用了一个同义词),于是用 WordNet 等知识源扩充了一下同义词集,同时考虑了单词的词形(词干相同的词也认为是部分匹配的,也应该给予一定的奖励,比如说把 likes 翻译成了 like 总比翻译成别的乱七八糟的词要好吧?)。在评价句子流畅性的时候,用了 chunk 的概念(候选译文和参考译文能够对齐的、空间排列上连续的单词形成一个 chunk,这个对齐算法是一个有点复杂的启发式 beam serach),chunk 的数目越少意味着每个 chunk 的平均长度越长,也就是说候选译文和参考译文的语序越一致。最后还有召回率和准确率两者都要考虑,用 F 值作为最后的评价指标。

METEOR 的缺点也很明显,其一是只有 Java 实现,而且还是 jar 包不是 API,只能算整个测试集上的 METEOR 而不是每条语句单独测(除非你把每条语句单独写到文件里然后调 jar 包),实在是太蠢了。在 Python 统治深度学习的当下,可想而知很少有人用这个指标……不过关于这一点,我以前照着原作者的 Java 代码复现过一个 Python 版本的,后来忙毕业论文就没管,最近看一看如果代码还在的话推到 github 上吧(如果有人关心的话)。其二是有四个超参数 alpha, beta, gamma, delta,这些都是对着某个数据集调出来的(让算法的结果和人的主观评价尽可能一致,方法我记得是 grid search),参数一多听起来就不靠谱,我只想用冯诺依曼的话来吐槽:With four parameters I can fit an elephant, and with five I can make him wiggle his trunk. 其三是需要有外部知识源(WordNet 等)来进行单词对齐,所以对于 WordNet 中不包含的语言,就没法用 METEOR 来评价了。后两点作者自己倒是给了一些解决方案,但是越搞越复杂,比如说从语料里自动挖掘同义词集这样就不需要 WordNet 了(但是你挖掘到的同义词可能有错的啊,而且用训练集挖掘语言知识那不是在某种程度上等于自己评价自己,又当运动员又当裁判,作弊啊)、比如说用多种语言的人类评分数据集拟合了一下 alpha, beta 各种参数然后给出默认值说对所有语言都能用(号称 Universal Meteor,因为对任意语言都能用;但是对于某些特定语言,还是使用在数据集上调过的参数更好)等等。对此我只能说,这么一点儿破事灌这么多水,是在下输了,我怎么就不会灌水呢。

3、ROUGE 和 BLEU 几乎一模一样,区别是 BLEU 只计算准确率,而ROUGE 只计算召回率。ROUGE 用作机器翻译评价指标的初衷是这样的:在 SMT(统计机器翻译)时代,机器翻译效果稀烂,需要同时评价翻译的准确度和流畅度;等到 NMT (神经网络机器翻译)出来以后,神经网络脑补能力极强,翻译出的结果都是通顺的,但是有时候容易瞎翻译,比如改个人名/数字啊、扔掉半句话啊这种情况很常见。于是有人说,那我们不看流畅度只看召回率(参考译文里的 n-gram 有多少出现在了候选译文中)就好了,这样就能知道 NMT 系统到底有没有漏翻(这会导致低召回率)。所以,ROUGE 只适合评价 NMT,而不适用于 SMT,因为它不管候选译文流不流畅。

4、CIDEr 我没仔细研究过,随便说一下哈,不一定对。CIDEr 是 BLEU 和向量空间模型的结合。它把每个句子看成文档,然后计算 TF-IDF 向量(只不过 term 是 n-gram 而不是单词)的余弦夹角,据此得到候选句子和参考句子的相似度,同样是不同长度的 n-gram 相似度取平均得到最终结果。优点是不同的 n-gram 随着 TF-IDF 的不同而有不同的权重,因为整个语料里更常见的 n-gram 包含了更小的信息量。图像字幕生成评价的要点是看模型有没有抓取到关键信息,比如说一幅图的内容是『白天一个人在游泳池游泳』,其中最关键的信息应该是『游泳』,生成字幕时如果包含或者漏掉了一些别的信息(比如说『白天』)其实是无关紧要的,所以需要这么一种对非关键词降权的操作。

在机器翻译中,译文应该忠实于原文,所以同一句话的多条译文应该互为转述,包含同样的信息;而同一幅图的多条字幕则不一定互为转述,因为不同的字幕可以包含不同数量的图像细节,不管描述得比较详细还是比较粗糙都是正确的字幕。

开发入门

IT相关
热点关注