原文連線 https://blog.csdn.net/guolindonggld/article/details/56966200

1. 簡介

BLEU（Bilingual Evaluation Understudy），相信大家對這個評價指標的概念已經很熟悉，隨便百度谷歌就有相關介紹。原論文為BLEU: a Method for Automatic Evaluation of Machine Translation，IBM出品。

本文通過一個例子詳細介紹BLEU是如何計算以及NLTKnltk.align.bleu_score模組的原始碼。

首先祭出公式：

注意這裡的BLEU值是針對一條翻譯（一個樣本）來說的。

NLTKnltk.align.bleu_score模組實現了這裡的公式，主要包括三個函式，兩個私有函式分別計算P和BP，一個函式整合計算BLEU值。

# 計算BLEU值
def bleu(candidate, references, weights)

# （1）私有函式，計算修正的n元精確率（Modified n-gram Precision）
def _modified_precision(candidate, references, n) # （2）私有函式，計算BP懲罰因子 def _brevity_penalty(candidate, references)
 

例子：

候選譯文（Predicted）： 
It is a guide to action which ensures that the military always obeys the commands of the party

參考譯文（Gold Standard） 
1：It is a guide to action that ensures that the military will forever heed Party commands 
2：It is the guiding principle which guarantees the military forces always being under the command of the Party 
3：It is the practical guide for the army always to heed the directions of the party

2. Modified n-gram Precision計算（也即是PnPn）

def _modified_precision(candidate, references, n):
    counts = Counter(ngrams(candidate, n))

    if not counts: return 0 max_counts = {} for reference in references: reference_counts = Counter(ngrams(reference, n)) for ngram in counts: max_counts[ngram] = max(max_counts.get(ngram, 0), reference_counts[ngram]) clipped_counts = dict((ngram, min(count, max_counts[ngram])) for ngram, count in counts.items()) return sum(clipped_counts.values()) / sum(counts.values())

我們這裡nn取值為4，也就是從1-gram計算到4-gram。

Modified 1-gram precision：

首先統計候選譯文裡每個詞出現的次數，然後統計每個詞在參考譯文中出現的次數，Max表示3個參考譯文中的最大值，Min表示候選譯文和Max兩個的最小值。

然後將每個詞的Min值相加，將候選譯文每個詞出現的次數相加，然後兩值相除即得P1=3+0+1+1+1+1+1+1+1+1+1+1+1+1+1+1+1+13+1+1+1+1+1+1+1+1+1+1+1+1+1+1+1+1+1=0.95P1=3+0+1+1+1+1+1+1+1+1+1+1+1+1+1+1+1+13+1+1+1+1+1+1+1+1+1+1+1+1+1+1+1+1+1=0.95。

類似可得：

Modified 2-gram precision：

P2=1017=0.588235294P2=1017=0.588235294

Modified 3-gram precision：

P3=716=0.4375P3=716=0.4375

Modified 4-gram precision：

P4=415=0.266666667P4=415=0.266666667

然後我們取w1=w2=w3=w4=0.25w1=w2=w3=w4=0.25，也就是Uniform Weights。

所以：

∑Ni=1wnlogPn=0.25∗logP1+0.25∗logP2+0.25∗logP3+0.25∗logP4=−0.684055269517∑i=1Nwnlog⁡Pn=0.25∗log⁡P1+0.25∗log⁡P2+0.25∗log⁡P3+0.25∗log⁡P4=−0.684055269517

3. Brevity Penalty 計算

def _brevity_penalty(candidate, references):

    c = len(candidate)
    ref_lens = (len(reference) for reference in references) #這裡有個知識點是Python中元組是可以比較的，如(0,1)>(1,0)返回False，這裡利用元組比較實現了選取參考翻譯中長度最接近候選翻譯的句子，當最接近的參考翻譯有多個時，選取最短的。例如候選翻譯長度是10，兩個參考翻譯長度分別為9和11，則r=9. r = min(ref_lens, key=lambda ref_len: (abs(ref_len - c), ref_len)) print 'r:',r if c > r: return 1 else: return math.exp(1 - r / c)

下面計算BP（Brevity Penalty），翻譯過來就是“過短懲罰”。由BP的公式可知取值範圍是(0,1]，候選句子越短，越接近0。

候選翻譯句子長度為18，參考翻譯分別為：16，18，16。 
所以c=18c=18，r=18r=18（參考翻譯中選取長度最接近候選翻譯的作為rr）

所以BP=e0=1BP=e0=1

4. 整合

最終BLEU=1⋅exp(−0.684055269517)=0.504566684006BLEU=1⋅exp(−0.684055269517)=0.504566684006。

BLEU的取值範圍是[0,1]，0最差，1最好。

通過計算過程，我們可以看到，BLEU值其實也就是“改進版的n-gram”加上“過短懲罰因子”。