1. 程式人生 > >結合圖拉普拉斯的半監督學習

結合圖拉普拉斯的半監督學習

摘要:在半監督學習中一個基本的問題是對於潛在資料如何建造圖。我們提出使用結合一系列不同的構造圖方法。我們計算最優的結合核函式。這個核解決了一個拓展的regularization問題,其要求一個共同最小包括資料和圖核集合。我們呈現很好的結果在不同的OCK任務上,最優結合核實從由不同的距離函式和不同的k近鄰得到的圖。
1 簡介
半監督學習的觀點是未標記資料可能可以被用來提高學習器的表現在一個監督任務中。半監督學習的關鍵在於建立一個假設,也就是資料處於一個低維流形空間中資料分佈在周圍空間。這個流形可以用一個加權離散圖來近似,其中經驗資料被認為是圖中的節點。圖構造包含兩部分,第一步選擇一個距離函式然後應用它去確定圖中的邊(或者權重)。例如,本文中我們考慮影象之間的距離是基於歐氏距離,歐氏距離結合影象轉化,並相關正切距離;我們決定圖中的邊集合使用K近鄰。另一個共同選擇是通過一個關於距離d的decreasing 函式加權邊。
儘管過剩的未標記資料可能提高經驗流形近似的質量,來達到更好的表現,這些方法的實際實驗顯示它們的表現很大程度上取決於圖是如何構造的。因此,模型選擇問題必須考慮距離函式的選擇和引數k在構造圖中的超參。大量方法被提出對於圖構造,在本文我們不不選擇單圖,而是提出結構一系列圖。我們的解決方案實現了基於regularization的結合並且邊集合會得到一個特定的圖。每個圖可能使用一個核關聯起來。我們應用regularization去選擇最好的這些核的結合。最小函式將平滑它去適應資料和它的範數。特殊的是這個regularization是最小的不是在單核空間,而是在對應所有核的凸結合上的最小。因此所有資料(有標記資料)可能被保留來訓練,而不會由交叉驗證使得減少。
2 圖regularization的背景知識
2.1再生希爾伯特核空間
X為集合,K為X * X->R 表示核函式,Hk表示RKHS函式f :X->R, 當(1)對於任意x, K(x,:)屬於Hk(2)再生核屬性f(x) =