1. 什麼是Multi-task learning？

Multi-tasklearning （多工學習）是和single-task learning （單任務學習）相對的一種機器學習方法。拿大家經常使用的school data做個簡單的對比，school data是用來預測學生成績的迴歸問題的資料集，總共有139箇中學的15362個學生，其中每一箇中學都可以看作是一個預測任務。單任務學習就是忽略任務之間可能存在的關係分別學習139個迴歸函式進行分數的預測，或者直接將139個學校的所有資料放到一起學習一個迴歸函式進行預測。而多工學習則看重任務之間的聯絡，通過聯合學習，同時對139個任務學習不同的迴歸函式，既考慮到了任務之間的差別，又考慮到任務之間的聯絡，這也是多工學習最重要的思想之一。

2. Multi-task learning的優勢

Multi-tasklearning的研究也有大概20年之久，雖然沒有單任務學習那樣受關注，但是也不時有不錯的研究成果出爐，與單任務學習相比，多工學習的優勢在哪呢？上節我們已經提到了單任務學習的過程中忽略了任務之間的聯絡，而現實生活中的學習任務往往是有千絲萬縷的聯絡的，比如多標籤影象的分類，人臉的識別等等，這些任務都可以分為多個子任務去學習，多工學習的優勢就在於能發掘這些子任務之間的關係，同時又能區分這些任務之間的差別。

3. Multi-tasklearning的學習方法

目前多工學習方法大致可以總結為兩類，一是不同任務之間共享相同的引數（common parameter），二是挖掘不同任務之間隱藏的共有資料特徵（latent feature）。下面將簡單介紹幾篇比較經典的多工學習的論文及演算法思想。

A. Regularizedmulti-task learning

這篇文章很有必要一看，文中提出了基於最小正則化方程的多工學習方法，並以SVM為例給出多工學習支援向量機，將多工學習與經典的單任務學習SVM聯絡在一起，並給出了詳細的求解過程和他們之間的聯絡，當然實驗結果也證明了多工支援向量機的優勢。文中最重要的假設就是所有任務的分介面共享一箇中心分介面，然後再次基礎上平移，偏移量和中心分介面最終決定了當前任務的分介面。

B. Convex multi-taskfeature learning

本文也是一篇典型的多工學習模型，並且是典型的挖掘多工之間共有特徵的多工模型，文中給出了多工特徵學習的一個框架，也成為後來許多多工學習參考的基礎。

C. Multitasksparsity via maximum entropy discrimination

這篇文章可以看作是比較全面的總結性文章，文中總共討論了四種情況，feature selection, kernel selection,adaptive pooling and graphical model structure。並詳細介紹了四種多工學習方法，很具有參考價值。

本文只是對多工學習做了簡單的介紹，想要深入瞭解的話，建議大家看看上面提到的論文。

Reference

[1] T. Evgeniouand M. Pontil. Regularized multi-task learning. In Proceeding of thetenth ACM SIGKDD international conference on Knowledge Discovery and DataMining, 2004.

[2] T. Jebara. MultitaskSparsity via Maximum Entropy Discrimination. In Journal of Machine LearningResearch, (12):75-110, 2011.

[3] A. Argyriou,T. Evgeniou and M. Pontil. Convex multitask feature learning. In MachineLearning, 73(3):243-272, 2008.