目前，對於文章中提取關鍵詞最常用的方法莫過於TF-IDF，但是這樣提取出來的關鍵詞並不一定準確。

舉個最簡單的例子來說，在新聞中最前面出現“記者李元芳報道”，分詞後的結果是“記者、李元芳、報道”，對於這三個詞，“記者”和“報道”的經常出現，idf值一般來說可能會很低，而“李元芳”這個剛出道不久名不見經傳的無名小輩可能對google免疫，造成的結果是idf值極高。儘管“李元芳”在文章中僅出現這一次，但足以奠定它是關鍵詞老大的地位。

顯然如果把“李元芳”作為文章關鍵詞是錯誤的，至少也不應該排在前五位。於是有人想到可以用詞頻的方法來幹掉“李元芳”，文中出現一次的統統不考慮，這樣的方法在一些情況下有效，但是當文章很短，幾乎每個詞都僅出現一次的時候就提取不到任何關鍵詞了。另一種方法是幹掉idf

細細分析來看，之所以出現這樣的局面完全是idf在作怪。其實在求解idf的時候，需要得到每個詞詞頻，而這又需要語料來統計。顯然，語料是越多越好，無奈現實中我們得不到這麼多的語料，所以只能從特殊到一般，這雖然有道理，但是不是很準確就難說了。

為了徹底解決這個問題，應該要做到不需要使用詞頻進行關鍵詞提取。於是，聰明人士引入了資訊熵的概念，具體可以看這裡：

前面都是鋪墊，下面就說說如何在文章中利用資訊熵提取關鍵詞：

首先我們需要明確一點，一個詞之所以能稱為關鍵詞，原因就在於這個詞左右能搭配的詞很豐富，於是我們可以定義一個詞的資訊熵：

W代表該詞，

比如現在某篇文章中出現了兩次 A W C， 一次B W D

那麼W的左側資訊熵為:

2/3表示片語A在3次中出現了2次，B只出現了一次，故為1/3.

W右側的資訊熵也是一樣的。如果是A W C, B W C

那麼W右側就是0，因為是 -1log(1)。

對所有的詞計算左右資訊熵，如果某個詞的左右資訊熵都很大，那這個詞就很可能是關鍵詞。

拿文章一開始提到的反例來說，“李元芳”只在開頭出現了一次，於是資訊熵為0，肯定不會是關鍵詞了。

最後考慮一種特殊情況，如果某個詞左側的資訊熵很大，右側資訊熵很小，而他右側的詞左側資訊熵很小，右側資訊熵很大。形象描述為 X B C Y

最後感謝曉陽童鞋解釋