首先感謝（http://blog.csdn.net/magic_leg/article/details/73957331）這篇部落格首次將《A Survey on Transfer Learning》這篇文章翻譯成中文版，給予我們很大的參考。

但上述作者翻譯的內容有很多不準確的詞語、省略了很多內容、工作略顯粗糙，因此本文將給出一篇完整近乎準確的中文版《A Survey on Transfer Learning》的翻譯。

《A Survey on Transfer Learning》這篇綜述性文章是一篇遷移學習入門者的必讀文章，非常具有權威性和引用價值。下面是中文翻譯。

遷移學習研究綜述

Sinno Jialin Pan and Qiang Yang,Fellow, IEEE
Translator：Xu Yin
摘要：

在許多機器學習和資料探勘演算法中，一個重要的假設就是目前的訓練資料和將來的訓練資料，一定要在相同的特徵空間並且具有相同的分佈。然而，在許多現實的應用案例中，這個假設可能不會成立。比如，我們有時候在某個感興趣的領域有個分類任務，但是我們只有另一個感興趣領域的足夠訓練資料，並且後者的資料可能處於與之前領域不同的特徵空間或者遵循不同的資料分佈。這類情況下，如果知識的遷移做的成功，我們將會通過避免花費大量昂貴的標記樣本資料的代價，使得學習效能取得顯著的提升。近年來，為了解決這類問題，遷移學習作為一個新的學習框架出現在人們面前。這篇綜述主要聚焦於當前遷移學習對於分類、迴歸和聚類問題的梳理和回顧。在這篇綜述中，我們主要討論了其他的機器學習演算法，比如領域適應、多工學習、樣本選擇偏差以及協方差轉變等和遷移學習之間的關係。我們也探索了一些遷移學習在未來的潛在方法的研究。

關鍵詞：

遷移學習；綜述；機器學習；資料探勘

1 引言

資料探勘和機器學習已經在許多知識工程領域實現了巨大成功，比如分類、迴歸和聚類。然而，許多機器學習方法僅在一個共同的假設的前提下：訓練資料和測試資料必須從同一特種空間中獲得，並且需要具有相同的分佈。當分佈情況改變時，大多數的統計模型需要使用新收集的訓練樣本進行重建。在許多現實的應用中，重新收集所需要的訓練資料來對模型進行重建，是需要花費很大代價或者是不可能的。如果降低重新收集訓練資料的需求和代價，那將是非常不錯的。在這些情況下，在任務領域之間進行知識的遷移或者遷移學習，將會變得十分有必要。

許多知識工程領域的例子，都能夠從遷移學習中真正獲益。舉一個網頁檔案分類的例子。我們的目的是把給定的網頁檔案分類到幾個之前定義的目錄裡。作為一個例子，在網頁檔案分類中，可能是根據之前手工標註的樣本，與之關聯的分類資訊，而進行分類的大學網頁。對於一個新建網頁的分類任務，其中，資料特徵或資料分佈可能不同，因此就出現了已標註訓練樣本的缺失問題。因此，我們將不能直接把之前在大學網頁上的分類器用到新的網頁中進行分類。在這類情況下，如果我們能夠把分類知識遷移到新的領域中是非常有幫助的。

當資料很容易就過時的時候，對於遷移學習的需求將會大大提高。在這種情況下，一個時期所獲得的被標記的資料將不會服從另一個時期的分佈。例如室內wifi定位問題，它旨在基於之前wifi使用者的資料來查明使用者當前的位置。在大規模的環境中，為了建立位置模型來校正wifi資料，代價是非常昂貴的。因為使用者需要在每一個位置收集和標記大量的wifi訊號資料。然而，wifi的訊號強度可能是一個時間、裝置或者其他型別的動態因素函式。在一個時間或一臺裝置上訓練的模型可能導致另一個時間或裝置上位置估計的效能降低。為了減少再校正的代價，我們可能會把在一個時間段（源域）內建立的位置模型適配到另一個時間段（目標域），或者把在一臺裝置(源域)上訓練的位置模型適配到另一臺裝置（目標域）上。

對於第三個例子，關於情感分類的問題。我們的任務是自動將產品（例如相機品牌）上的評論分類為正面和負面意見。對於這些分類任務，我們需要首先收集大量的關於本產品和相關產品的評論。然後我們需要在與它們相關標記的評論上，訓練分類器。因此，關於不同產品牌的評論分佈將會變得十分不一樣。為了達到良好的分類效果，我們需要收集大量的帶標記的資料來對某一產品進行情感分類。然而，標記資料的過程可能會付出昂貴的代價。為了降低對不同的產品進行情感標記的註釋，我們將會訓練在某一個產品上的情感分類模型，並把它適配到其它產品上去。在這種情況下，遷移學習將會節省大量的標記成本。

在這篇文章中，我們給出了在機器學習和資料探勘領域，遷移學習在分類、迴歸和聚類方面的發展。同時，也有在機器學習方面的文獻中，大量的遷移學習對增強學習的工作。然而，在這篇文章中，我們更多的關注於在資料探勘及其相近的領域，關於遷移學習對分類、迴歸和聚類方面的問題。通過這篇綜述，我們希望對於資料探勘和機器學習的團體能夠提供一些有用的幫助。

接下來本文的組織結構如下：在接下來的四個環節，我們先給出了一個總體的全覽，並且定義了一些接下來用到的標記。然後，我們簡短概括一下遷移學習的發展歷程，同時給出遷移學習的統一定義，並將遷移學習分為三種不同的設定（在圖2和表2中給出）。我們對於每一種設定回顧了不同的方法，在表3中給出。之後，在第6節，我們回顧了一些當前關於“負遷移”這一話題的研究，即那些發生在對知識遷移的過程中，產生負面影響的時候。在第7節，我們介紹了遷移學習的一些成功的應用，並且列舉了一些已經發布的關於遷移學習資料集和工具包。最後在結論中，我們展望了遷移學習的發展前景。

2 概述

2.1 簡短的有關遷移學習的歷史

傳統的資料探勘和機器學習演算法通過使用之前收集到的帶標記的資料或者不帶標記的資料進行訓練，進而對將來的資料進行預測。在版監督分類中這樣標註這類問題，即帶標記的樣本太少，以至於只使用大量未標記的樣本資料和少量已標記的樣本資料不能建立良好的分類器。監督學習和半監督學習分別對於缺失資料集的不同已經有人進行研究過。例如周和吳研究過如何處理噪音類標記的問題。楊認為當增加測試時，可以使得代價敏感的學習作為未來的樣本。儘管如此，他們中的大多數假定的前提是帶標記或者是未標記的樣本都是服從相同分佈的。相反，遷移學習允許訓練和測試的域、任務以及分佈是不同的。在現實中我們可以發現很多遷移學習的例子。例如我們可能發現，學習如何辨認蘋果將會有助於辨認梨子。類似的，學會彈電子琴將會有助於學習鋼琴。對於遷移學習研究的驅動，是基於事實上，人類可以智慧地把先前學習到的知識應用到新的問題上進而快速或者更好的解決新問題。最初的關於遷移學習的研究是在NIPS-95研討會上，機器學習領域的一個研討話題“學會學習”，就是關注於保留和重用之前學到的知識這種永久的機器學習方法。

自從1995年開始，遷移學習就以不同的名字受到了越來越多人的關注：學會學習、終生學習、知識遷移、感應遷移、多工學習、知識整合、前後敏感學習、基於感應閾值的學習、元學習、增量或者累積學習。所有的這些，都十分接近讓遷移學習成為一個多工學習的一個框架這樣的學習技術，即使他們是不同的，也要儘量學習多項任務。多工學習的一個典型的方法是揭示是每個任務都受益的共同（潛在）特徵。

在2005年，美國國防部高階研究計劃局的資訊處理技術辦公室發表的代理公告，給出了遷移學習的新任務：把之前任務中學習到的知識和技能應用到新的任務中的能力。在這個定義中，遷移學習旨在從一個或者多個源任務中提取資訊，進而應用到目標任務上。與多工學習相反，遷移學習不是同時學習源目標和任務目標的內容，而是更多的關注與任務目標。在遷移學習中，源任務和目標任務不再是對稱的。

圖1展示了傳統的學習和遷移學習的學習過程之間的不同。我們可以看到，傳統的機器學習技術致力於從每個任務中抓取資訊，而遷移學習致力於當目標任務缺少高質量的訓練資料時，從之前任務向目標任務遷移知識。

如今，遷移學習出現在許多頂級期刊上，令人注意的資料探勘（比如ACM KDD,IEEE ICDM和PKDD），機器學習(比如ICML,ICDM和PKDD）和應用在資料探勘和機器學習（比如ACM SIGIR,WWW和ACL）上。在我們給出遷移學習不同的類別的時候，我們首先描述一下本文中用到的符號。

2.2 符號和定義

在本節中，我們介紹了本文中使用的一些符號和定義。首先，我們分別給出“域”和“任務的定義”。

在本綜述中，D域包含兩部分：一個特徵空間X和一個邊緣概率分佈P(X)。其中 X={x1,x2,...,xn}∈X。比如我們的學習任務是文字分類，每一個術語被用作一個二進位制特徵，然後X就是所有的術語向量的空間，xi是第i個與一些文字相關的術語向量。X是一個學習樣本。總的來說，如果兩個域不同，那麼它們會有不同的特徵空間或者服從不同的邊緣概率分佈。

給定一個具體的領域，D={X,P(X)}，一任務個由兩部分組成：一個標籤空間Y和一個目標預測函式f(⋅)（由T={Y,f(⋅)}表示）。task不可被直觀觀測，但是可以通過訓練資料學習得來。task由pair{xi,yi}組成，且xi∈X,yi∈Y。函式f(x)可用於預測對應標籤。從概率學角度看，f(x)也可被寫為P(y|x)。 
簡化起見，本文中我們只考慮一個源域DS一個目標域DT。更準確點，用                DS={(xS1,yS1)，...,(xSn,ySn)},xSi∈Xs,ySi∈Ys來表示源域。以文件分類為例，DS是文件物件向量及對應的true或false標籤的集合。相似地有目標域記法DT，一般有0≤nT≪nS。 
現在我們給出遷移學習的統一定義：

Definition 1 (Transfer learning): 給定源域DS和學習任務

相關推薦