機器學習文本挖掘之spherical k-means algorithm初識
Spherical K-Means 法によるクラスタ分析の実験検証
1.1研究背景、目的：
インターネットの普及などにより、膨大なデータの中からデータ間の関係を見つけ出したり、有用な情報をを取り出すためにクラスタリングを行われている。
{
本研究では、データマイニングの手法の一つであるクラスタリングに関して研究を行う。ク
ラスタリングとは、様々な數値解析手法の総稱であり、それらの目的は多変量データを解析
し、観測データを同一のクラスタごとに分類し、それぞれのクラスタの區別を明確化あるいは
発見することである。クラスタリングは「似たものどうし」を集めるという、極めて単純明快
な目的のための方法である。しかし、類似性の尺度や手法によっては結果は様々となる。
本研究では、類似性の尺度にコサイン類似度を用いることで、球面上で k-means アルゴリズ
ムを行うクラスタリング手法について研究を行う。
}
教師なし機械學習(Unsupervised Learning)：
クラスター分析
主成分分析
ベクトル量子化
自己組織化マップ
？？？關於距離選取
關於余弦類似度：http://www.ruanyifeng.com/blog/2013/03/cosine_similarity.html
句子A：[1, 2, 2, 1, 1, 1, 0]
句子B：[1, 2, 2, 1, 1, 2, 1]
為什麽要文本正規化，什麽是cosine正規化
単に tf/idf を用いると、長い Web 文書に現れる単語ほど重みが高くなってしまうという 問題點がある。そのため Web 文書長の正規化を行った。正規化にはコサイン正規化を用い た。tfij、idfj を用いてコサイン正規化による文書長の正規化係數は、以下のようになる。 コサイン正規化は、Web 文書全體に含まれる単語の総數を m としたとき、m 次元ベクトル (tfi1idf1, tfi2idf2, · · · , tfimidfm) の向きを変化させずに、ベクトル長を 1 にする処理であると いえる。
From tukuba
A starting point for applying clustering algorithms to unstructured text data is to create
a vector space model for text data
Observe that we may regard the vector space model of a text data set
as a word-by-document matrix whose rows are words and columns are document vectors.
the document vectors are very highdimensional.
Hence, the
document vectors are very sparse.
It is natural to measure “similarity” between such vectors by their inner product, known as
cosine similarity
any word that does not help in discriminating a cluster from its neighbors is a function word.
VECTOR SPACE MODEL
Words(remaining)=1,2,3......d
Document=1,2,3......n
number of occurrences of word j --> document i-->f ji <---tji:relative importance of a word
number of documents which contain the word j--->dj <---gj:overall importance of a word
For i<=j<=d, set the j-th component of document vector xi （i=1 to n）
xji = tji * gj * si
tji is the term weighting component and depends only on fji
gj is the global weighting component and depends on dj
自然言語処理（しぜんげんごしょり、
這是弧度制
π=180°
2π=360°
機器學習文本挖掘之spherical k-means algorithm初識