Levenshtein Distance（編輯距離）演算法與使用場景
阿新 • • 發佈：2020-03-09
## 前提
已經很久沒深入研究過演算法相關的東西，畢竟日常少用，就算死記硬背也是沒有實施場景導致容易淡忘。最近在做一個脫敏資料和明文資料匹配的需求的時候，用到了一個演算法叫`Levenshtein Distance Algorithm`，本文對此演算法原理做簡單的分析，並且用此演算法解決幾個常見的場景。
## 什麼是Levenshtein Distance
`Levenshtein Distance`，一般稱為編輯距離（`Edit Distance`，`Levenshtein Distance`只是編輯距離的其中一種）或者萊文斯坦距離，演算法概念是俄羅斯科學家弗拉基米爾·萊文斯坦（Levenshtein · Vladimir I）在1965年提出。此演算法的概念很簡單：`Levenshtein Distance`指**兩個字串之間，由一個轉換成另一個所需的最少編輯操作次數**，允許的編輯操作包括：
- 將其中一個字元替換成另一個字元（`Substitutions`）。
- 插入一個字元（`Insertions`）。
- 刪除一個字元（`Deletions`）。
> 下文開始簡稱`Levenshtein Distance`為`LD`
### Levenshtein Distance公式定義
這個數學公式最終得出的數值就是`LD`的值。舉個例子：
將`kitten`這個單詞轉成`sitting`的`LD`值為3：
1. kitten → sitten （k→s）
2. sitten → sittin （e→i）
3. sittin → sitting （insert a 'g'）
### Levenshtein Distance動態規劃方法
可以使用動態規劃的方法去測量`LD`的值，步驟大致如下：
- 初始化一個`LD`矩陣`(M,N)`，`M`和`N`分別是兩個輸入字串的長度。
- 矩陣可以從左上角到右下角進行填充，每個水平或垂直跳轉分別對應於一個插入或一個刪除。
- 通過定義每個操作的成本為1，如果兩個字串不匹配，則對角跳轉的代價為1，否則為0，簡單來說就是：
- 如果`[i][j]`位置的兩個字串相等，則從`[i][j]`位置左加1，上加1，左上加0，然後從這三個數中取出最小的值填充到`[i][j]`。
- 如果`[i][j]`位置的兩個字串不 0 1 |
那麼`son`和`sun`的`LD`值為1 。
**例子二：**
初始化`LD`矩陣`(4,3)`：
|||`d`|`o`|`g`|
|:-:|:-:|:-:|:-:|:-:|
||`0`|`1`|`2`|`3`|
|`d`|`1`||||
|`o`|`2`||||
|`g`|`3`||||
|`e`|`4`||||
接著填充矩陣：
|||`d`|`o`|`g`|
|:-:|:-:|:-:|:-:|:-:|
||`0`|`1`|`2`|`3`|
|`d`|`1`|`0`|`1`|`2`|
|`o`|`2`|`1`|`0`|`1`|
|`g`|`3`|`2`|`1`|`0`|
|`e`|`4`|`3`|`2`|`1`|
那麼`doge`和`dog`的`LD`值為1 words = Lists.newArrayList();
words.add("throwable");
words.add("their");
words.add("the");
Map result = Maps.newHashMap();
words.forEach(x -> result.put(x, LevenshteinDistance.X.mr(x, target)));
System.out.println("輸入值為:" + target);
result.forEach((k, v) -> System.out.println(String.format("候選值:%s,匹配度:%s", k, v)));
}
// 輸出結果
輸入值為:throwab
候選值:the,匹配度:0.29
候選值:throwable,匹配度:0.78
候選值:their,匹配度:0.29
```
這樣子就可以基於輸入的`throwab`選取匹配度最高的`throwable`。
### 抄襲偵測
抄襲偵測的本質也是字串的匹配，可以簡單認為匹配度高於某一個閾值就是屬於抄襲。例如《我是一隻小小鳥》裡面的一句歌詞是：
> 我是一隻小小小小鳥，想要飛呀飛卻飛也飛不高
假設筆者創作了一句歌詞：
> 我是一條小小小小狗，想要睡呀睡卻睡也睡不夠
我們可以嘗試找出兩句詞的匹配度：
```java
System.out.println(LevenshteinDistance.X.mr("我是一隻小小小小鳥，想要飛呀飛卻飛也飛不高", "我是一條小小小小狗，想要睡呀睡卻睡也睡不夠"));
// 輸出如下
0.67
```
可以認為筆者創作的歌詞是完全抄襲的。當然，對於大文字的抄襲偵測（如論文查重等等）需要考慮執行效率的問題，解決的思路應該是類似的，但是需要考慮如何分詞、大小寫等等各種的問題。
## 小結
本文僅僅對`Levenshtein Distance`做了一點皮毛上的分析並且列舉了一些簡單的場景，其實此演算法在日常生活中是十分常見的，筆者猜測詞典應用的單詞拼寫檢查、論文查重（抄襲判別）都可能和此演算法相關。演算法雖然學習曲線比較陡峭，但是它確實是一把解決問題的利刃。
參考資料：
- [維基百科 - Levenshtein distance](https://en.wikipedia.org/wiki/Levenshtein_distance)
- [java-string-similarity](https://github.com/tdebatty/java-string-similarity)
- [The Levenshtein Algorithm](https://www.cuelogic.com/blog/the-levenshtein-al