本文要解決的問題

1. 在什麼條件下，由源域訓練的分類器能在目標域上取得很好的效果
2. 鑑於目標域中只有少量的標記資料，在訓練過程中，我們應該怎樣利用擁有大量已標記資料的源域使得在測試的時候目標誤差最低。

相關概念

1.域適應（domain adaptation）

域適應模型

  我們考慮二分類的域適應問題。   定義領域為分佈$\mathcal{D}$，輸入$\mathcal{X}$，標籤函式$f:\mathcal{X}\to[0,1]$.源域$<\mathcal{D}_S,f_S>$

>，目標域$<\mathcal{D}_T,f_T>$.   假設另一個函式為$h:\mathcal{X}\to[0,1]$，則假設函式$h$與真實標籤函式的差定義為：$\epsilon_S(h,f)=E_{X\sim\mathcal{D}_S}[|h(x)-f(x)|]$.   使用記號$\epsilon_S(h)=\epsilon_S(h,f_S)$

源域和目標域誤差估計

  在源域上訓練一個分類器，計算這個分類器在目標域上的泛化誤差。   我們用$L^1$來衡量兩個分佈之間的差異$d_1(\mathcal{D},\mathcal{D'})=2\sup_{B\in\mathcal{B}}|Pr_\mathcal{D}[B]-Pr_\mathcal{D'}[B]|$其中$\mathcal{B}$是$\mathcal{D}$和$\mathcal{D'}$

的可測子集。 定理一：對任意假設函式$h$，$\epsilon_T(h)\leq\epsilon_S(h)+d_1(\mathcal{D}_S,\mathcal{D}_T)+\min\{E_{\mathcal{D}_S}[|f_S(x)-f_T(x)|],E_{\mathcal{D}_T}[|f_S(x)-f_T(x)|]\}$. 證明： 令$\epsilon_T(h)=\epsilon_T(h,f_T)$，$\epsilon_S(h)=\epsilon_S(h,f_S)$。記$\mathcal{D}_S$和$\mathcal{D}_T$的概率密度函式為$\phi_S$和$\phi_T$ $\epsilon_T(h)= \epsilon_T(h)+\epsilon_S(h)-\epsilon_S(h)+\epsilon_S(h,f_T)-\epsilon_S(h,f_T)$ $\leq\epsilon_S(h)+|\epsilon_S(h)-\epsilon_S(h)|+|\epsilon_S(h,f_T)-\epsilon_S(h,f_T)|$ $=\epsilon_S(h)+|E_{X\sim\mathcal{D}_S}[|h(x)-f_T(x)|]-E_{X\sim\mathcal{D}_S}[|h(x)-f_S(x)|]|+||E_{X\sim\mathcal{D}_T}[|h(x)-f_T(x)|]-|E_{X\sim\mathcal{D}_S}[|h(x)-f_T(x)|]|$ $\leq\epsilon_S(h)+E_{X\sim\mathcal{D}_S}[|f_S(x)-f_T(x)|]+\int|\phi_S(x)-\phi_T(x)||h(x)-f_T(x)| \mathrm{d}x$ $\leq\epsilon_S(h)+E_{X\sim\mathcal{D}_S}[|f_S(x)-f_T(x)|]+d_1(\mathcal{D}_S,\mathcal{D}_T).$