本文主要內容為論文《A Survey on Transfer Learning》的閱讀筆記，內容和圖片主要參考 該論文 。其中部分內容引用與部落格《遷移學習綜述a survey on transfer learning的整理下載》，感謝博主xf__mao的資源貢獻。在這裡我主要記錄下自己覺得重要的內容以及一些相關的想法，希望大家多多留言評論，相互交流~

0. Abstract

  許多機器學習和資料探勘演算法中的一個主要假設是，訓練和未來（測試）資料必須在相同的特徵空間中，並且具有相同的分佈。然而，在許多實際應用中，這種假設可能不成立。例如，我們有時在一個感興趣的域中有一個分類任務，但我們在另一個感興趣的域中只有足夠的訓練資料，後者的資料可能在不同的特徵空間中，或者遵循不同的資料分佈。在這種情況下，如果成功地進行知識遷移，將避免大量昂貴的資料標記工作，從而極大地提高學習的效能

。近年來，遷移學習已經成為解決這個問題的一個新的學習框架。這篇綜述的重點是分類和回顧目前遷移學習在分類，迴歸和聚類問題的進展。在這篇綜述中，我們討論了遷移學習與其他相關機器學習技術的關係，如領域適應，多工學習和樣本選擇偏差，以及協變數移位。我們還探討了遷移學習研究中的一些潛在的未來問題。

1. Introduction

  機器學習與資料探勘技術在很多應用上都取得了成功，但是許多演算法表現良好是因為它們有一個共同的假設：訓練和測試資料必須來自相同的特徵空間中，並且具有相同的分佈。當分佈發生改變時，絕大多數統計模型需要從頭開始使用新收集的訓練資料進行重建。在真實世界的應用中，重新收集訓練資料並且重新訓練模型是昂貴的或者不可能的。如果能夠減少重新收集訓練資料的需要和努力將會是美好的。在這種情況下，任務域之間的知識遷移或遷移學習是可取的。

  在遷移學習確實是有益的知識工程中可以找到許多例子。下面分別給了三個例子進行說明，第一個例子是Web文件分類，在原始網站上訓練的分類器無法直接應用到新網站上，因為新建立的網站裡的資料特徵和資料分佈可能不同，有可能是一個缺乏標記的訓練資料，所以可以採用遷移學習的方法。第二個例子是室內 Wifi 定位，因為採用 WIFI 資料進行訓練會產生大量的標註任務，所以使用訊號強度隨時間、裝置或者其他因子及建模，並對不同的時間段或者裝置進行遷移學習。第三個例子是評論的情感分析，如果對所有的商品都進行標註（貼標籤）的話是一項巨大的任務，所以通過在一部分商品上訓練分類模型在遷移到另外一些類別的商品。

  本文的主要內容是機器學習和資料探勘領域中的分類、迴歸和聚類的遷移學習作了全面的概述。雖然也有大量的工作關於強化學習的遷移學習的論文，但是不是資料探勘研究的問題。

  綜述的其餘部分安排如下。在接下來的四節中，我們首先給出了一個總體回顧，然後定義一些我們稍後會用到的符號。然後簡要回顧了遷移學習的歷史，對遷移學習給出了統一的定義，並將遷移學習分為三種不同的設定（如表2和圖2所示）。對於每個設定，我們將詳細回顧表3中給出的不同方法。之後，在第6節中，我們回顧了關於知識遷移對目標學習產生負面影響的“負遷移”的研究現狀。在第7部分中，我們介紹了遷移學習的一些成功應用，並列出了一些已釋出的資料集和軟體工具包，用於遷移學習研究。最後，我們結束文章，在第8部分中討論未來工作。

2. OVERVIEW

2.1 A Brief History of Transfer Learning

  傳統的機器學習方法包括有監督學習、無監督學習和半監督學習，針對不完全資料，有監督和半監督學習還有相應的變形，如處理噪聲分類標籤問題以及代價敏感學習。然而，這些方法的大多數都假設已標註資料與未標註資料的分佈是相同的。與之相反的是，遷移學習允許源空間、任務空間，並且在測試集和訓練集中的分佈是不同的。接下來舉了人進行遷移學習的例子，即人可以智慧地使用先前學習的知識來更快更好地解決新的問題。遷移學習最早起源於NIPS-95 上的“Learning to Learn”。

  遷移學習興起於 1995 年，別名有learning to learn, life-long learning, knowledge transfer, inductive transfer, multi-task learning, knowledge consolidation, context sensitive learning, knowledge-based inductive bias, meta learning, and incremental/cumulative learning。與遷移學習密切相關的學習技術是多工學習框架，這個框架嘗試同時學習多個任務，即使它們是不同的。多工學習的一個典型方法是發現能使每個任務受益的共同（潛在）特徵。多工學習的一個典型方法是發現能使每個任務受益的共同（潛在）特徵。

  在2005年，XXX賦予了遷移學習新的任務，系統識別和應用以前任務中所學到的知識和技能的能力。在這個定義中，遷移學習的目的是從一個或多個源任務中提取知識，並將知識應用於目標任務。與多工學習相比，遷移學習最關心的是目標任務，而不是同時學習所有的源任務和目標任務。在遷移學習中，源和目標任務的作用不再對稱。

  下圖是傳統機器學習與遷移學習的差別，傳統機器學習對於不同的目標任務要進行重新訓練，而遷移學習則不用。

2.2 Notations and Definitions

  （1）domain. 資料域（domain）由兩個部分組成：特徵空間 XX 和邊緣概率分佈 P(X) ，這裡 X=x1,……,x2∈XX

  舉例說明，如果我們的任務是文件分類，把每一個單詞看作二值的特徵即出現或者不出現，然後 XX 是所有詞向量的空間，xi 是與一些文件有關的第 i 個詞向量，並且 X 是一個具體的學習樣本。總體來看如果兩個域是不同的，它們具有不同的特徵空間或者不同的邊緣概率分佈。

  （2）task. 給定一個具體的域 D=XX,P(X) ，一個任務（task）由兩個部分組成：空間的標籤 YY，和一個目的預測函式 f(.) ，task 用 T=YY,f(.) 表示，目標函式不能夠被觀察，但是i可以通過訓練資料被學習到，其中包含變數 xi,yi ,其中 xi∈X,yi∈YY。函式 f(x) 可以用來預測新的變數標籤。從概率的角度，可以將 f(x) 寫成 P(y|x)。在本文中為了簡化問題，只討論一個 Ds 和一個 Dt 的情況。

  （3）Transfer Learning. 給定一個源域 Ds 和 一個學習任務 Ts，一個目標域 Dt 和 一個學習任務 Tt，遷移學習的目的是使用在 Ds 和 Ts 上的知識幫助提高在目標域 Dt上的預測函式 fT(x) 的學習，其中 Ds≠Dt 或者 Ts≠Tt 。

  根據上述定義 D=XX,P(X)，所以 Ds≠Dt 表示兩者的特徵空間不相同或者特徵不相同或者特徵的邊緣概率分佈不相同。同樣地，由於 T=YY,P(Y|X) ， Ts≠Tt 意味著標籤空間 YY 不相同或者 P(YS|XS)≠P(YT|XT) 。當 Ds=Dt 且 Ts=Tt 的時候是傳統的機器學習演算法。比如在文字分類的例子中， Ds≠Dt 可能兩個文字的語言不同，也有可能文字相同但是多關注的主題不同； Ts≠Tt 可能是一個是二分類問題，另一個十分類問題，也有可能是根據使用者定義的類源和目標中的文字是不均衡的。

  此外，當兩個域的特徵空間存在顯式或隱式關係時，我們表示源域和目標域是相關的。

2.3 A Categorization of Transfer Learning Techniques

  在遷移學習中主要關注三個主要研究問題：(1) What to transfer; (2) How to transfer; (3) When to transfer。即遷移什麼、怎麼遷移和什麼時候遷移。

  “What to transfer”問的是哪一部分知識可以跨域或任務傳遞？某些知識對於特定的域或任務是特定的，一些知識可能在不同的域之間是通用的，因此它們可能有助於提高目標域或任務的效能。在發現了那一部分的知識可以進行遷移之後，需要發展學習演算法來遷移知識，這就與“how to transfer”這個問題相關。“When to transfer”問的是在哪一種情況下，應該使用遷移學習。同樣地我們也關注在什麼情況下只是不應該被遷移。在某些情況下，當源域和目標域彼此不相關時，暴力轉移可能失敗。在最壞的情況下，它甚至可能損害目標域學習的效能，這種情況通常稱為負遷移。目前關於遷移學習的研究主要集中在“轉移什麼”和“如何轉移”上，隱含地假設源域和目標域是相互關聯的。然而，如何避免負遷移是一個重要的開放課題，正受到越來越多的關注。

  如下表所示，根據源任務與目標任務資料域和任務的不同，我們將遷移學習分為以下的幾類

  （1）歸納式遷移學習

  只要目標任務不同，無論源和目標資料域是相同的還是不同的，都屬於歸納學習。在這種情況下需要一些目標域中的帶標籤的資料來產0生一個在目標資料域中的目標預測模型 fT() 。並且根據源資料域中的將歸納式學習分為兩類：

  （a）源資料域包含有大量標籤資料，這時歸納式遷移學習和多工學習類似。然而，推斷學習只是希望通過從源任務遷移知識以在目標任務中獲得好的表現，而多工學習試圖將源與目標任務同時學習。

  （b）源資料域沒有可用的標籤資料，這時歸納式遷移學習相當於自我學習。因為在自我學習中源資料域和目標資料域的標籤是不同的，所以也可以理解為沒有標籤。

  （2）直推式遷移學習

  在這種情況，在目標資料域中沒有可獲得的、帶標記的資料，然而在源資料域中有許多可獲得的帶標記的資料。並且根據源和目標資料域的不同情況，可以將直推式遷移學習分為兩種情況：

  （a）源和目標資料域的特徵空間是不同的，即 XXS≠XXT

  （b）源和目標資料域的特徵空間是相同（XXS=XXT），但是輸入資料的邊緣概率分佈是不同的，即