正向最大匹配演算法

正向最大匹配演算法(FMM)是一種基於詞典的分詞方法，同樣的基於詞典的方法還有逆向最大匹配法(RMM)，ngram法.FMM故名思意，左向右掃描尋找詞的最大匹配，是一種貪心的思想。

流程

• 限定詞的最大長度
• 從最大的長度開始在詞庫中進行匹配只到匹配成功
• 更新起點的位置繼續上一步驟只到全部分完

實驗

詞庫

東北
林業
大學
學校
東北林業大學
好地方
學校

文字

東北林業大學是好學校
這裡是個好地方

Code

#!/usr/bin/python

import sys

Maxlen=6

def max_match(line,dict):
    line
 
=line.decode("utf8")
    word=[]
    i=0
    while i<len(line):
        match = False
        for id in xrange(Maxlen, 0, -1):
            tmp=line[i:i+id].encode("utf8")
            for var in dict:
                if tmp in var:
                    word.append(tmp)
                    i+=id
                    match=True
                    break
            if
 
 match:
                break
        if not match:
            word.append(line[i].encode("utf8"))
            i+=1
    return word     

if __name__ == "__main__":
    words=open(sys.argv[1])
    dict = open(sys.argv[2], "r")
    out=open("./out.txt","w")
    List = list(dict)
    try:
        for line
 
 in words:
            out.write(" ".join(max_match(line.strip(),List)))
            out.write("\n")
    finally:
        out.close()
        words.close()
        dict.close()

實驗結果

東北林業大學 是 好 學校
這 裡 是 個 好地方