要進行中文分詞，必須要求資料格式全部都是中文，需求過濾掉特殊符號、標點、英文、數字等。當然了使用者可以根據自己的要求過濾自定義字元。
實驗環境：python、mysql

實驗目的：從資料庫讀取資料，過濾點無用字元，然後存入到資料庫一個表裡面。

程式碼如下：

# -*- coding: UTF-8 -*-
import MySQLdb as mdb
import  re
def createStatistics():
    """ 建立新的微博內容表 """
    try:
        con = mdb.connect('localhost', 'root', '資料庫密碼'
 
, '資料庫',charset='utf8');#
        with con:
            #獲取連線的cursor，只有獲取了cursor，我們才能進行各種操作
            cur = con.cursor()
            #建立一個數據表 writers(id,name)
            cur.execute("DROP TABLE IF EXISTS new")
            cur.execute("CREATE TABLE new (\
            uid varchar(255) NOT NULL,\
            mid varchar(255) NOT NULL,\
            time date ,\
            content text CHARACTER SET utf8 NOT NULL\
            ) ENGINE=MyISAM DEFAULT CHARSET=latin1;"
 
)
            cur.execute("SELECT * FROM old")
            numrows = int(cur.rowcount)
            rows = cur.fetchall()
            r1 = u'[a-zA-Z0-9’!"#$%&\'()*+,-./:;<=>[email protected]，。?★、…【】《》？“”‘’！[\\]^_`{|}~]+'#使用者也可以在此進行自定義過濾字元
            r2 = u'\s+;'
            for i in range(numrows):

                tem=re.sub(r1, ''
 
, rows[i][3]) #過濾內容中的各種標點符號
                cur.execute("INSERT INTO new(uid,mid,time,content) VALUES(%s, %s, %s, %s)", (rows[i][0], rows[i][1], rows[i][2], tem))

    except mdb.Error,e:
        print "Mysql Error %d: %s" % (e.args[0], e.args[1])
        con.close()

createStatistics()
print 'done'