相較於一元線性迴歸，多元線性迴歸是用來確定2個或2個以上變數間的統計分析方法，其基本的分析方法和一元線性迴歸是類似的。

優點：

1.可適用於幾乎所有的資料；
2.提供了特徵與結果之間關係的強度和大小的估計。

缺點：

1.對資料做出了很強的假設；
2.模型形式必須事先指定；
3.不能很好地處理缺失資料。

基本步驟：對選取的多元資料集定義數學模型，進行引數估計，對引數進行顯著性檢驗、殘差分析、異常點檢驗，最後確定迴歸方程進行模型預測。特別地，對於多元迴歸方程有一項很重要的操作就是自變數的優化，要挑選出相關性最顯著的自變數，同時去除不顯著的自變數。

接下來以醫療費用為例，通過分析病人的資料，來預測這部分群體的平均醫療費用，從而來為年度保費價格的設定提供參考。

（一）收集和觀察資料

檔案包含1338個案例，即目前已經登記過的保險計劃受益者以及表示病人特點和歷年計劃計入的總醫療費用的特徵。這些特徵分別是：

• age：整數，受益者的年齡（不包括超過64歲的人，因為這部分人群的費用由政府承擔）；
• sex：保單持有人的性別，male或者female；
• bmi：身體質量指數（Body Mass Index, BMI），它等於體重（公斤）除以身高（米）的平方，理想的BMI指數在18.5和24.9之間；
• children：整數，保險計劃中包括的孩子或者受撫養者的數量；
• smoker：被保險人是否吸菸，yes或者no；
• region：根據受益人在美國的居住地，分為4個地理區域，分別是northeast, southeast, southwest和northwest。

如何將這些變數與已結算的醫療費用聯絡起來很重要，在迴歸分析中，特徵之間的關係通常是由使用者指定，而不是自動檢測出來的。

（二）探索和準備資料

> insurance <- read.csv("insurance.csv", stringsAsFactors = T)
> str(insurance)

'data.frame':   1338 obs. of  9
 
 variables:
 $ age     : int  19 18 28 33 32 31 46 37 37 60 ...
 $ sex     : Factor w/ 2 levels "female","male": 1 2 2 2 2 1 1 1 2 1 ...
 $ bmi     : num  27.9 33.8 33 22.7 28.9 ...
 $ children: int  0 1 3 0 0 0 1 3 2 0 ...
 $ smoker  : Factor w/ 2 levels "no","yes": 2 1 1 1 1 1 1 1 1 1 ...
 $ region  : Factor w/ 4 levels "northeast","northwest",..: 4 3 3 2 2 3 3 2 1 2 ...
 $ charges : num  16885 1726 4449 21984 3867 ...
 $ age2    : num  361 324 784 1089 1024 ...
 $ bmi30   : num  0 1 1 0 0 0 1 0 0 0 ...

• read.csv()函式讀入資料，用stringsAsFactors = T將名義變數轉換成因子變數；
• str()函式檢視資料結構，確認各個變數的讀取是否有異常；
• summary()函式檢視charges的分佈情況；
• hist()函式可得到資料分佈的直方圖，表明保險費用的分佈是右偏的，其平均數大於中位數，同時我們可以知道絕大數的人每年的費用在0到15000美元之間。

接下來面臨的一個問題是如何處理因子型別的特徵，因為迴歸模型需要每一個特徵值都是數值型的。

2.1 探索特徵之間的關係（相關係數矩陣）

在使用迴歸模型擬合數據之前，有必要確定自變數與因變數之間以及自變數之間是如何相關的。相關係數矩陣（correlation matrix）可以為每一對變數之間的關係提供一個相關係數。

> cor(insurance[c("age", "bmi", "children", "charges")])

               age       bmi   children    charges
age      1.0000000 0.1092719 0.04246900 0.29900819
bmi      0.1092719 1.0000000 0.01275890 0.19834097
children 0.0424690 0.0127589 1.00000000 0.06799823
charges  0.2990082 0.1983410 0.06799823 1.00000000

• cor()函式為insurance中的4個數值型變數建立了一個相關係數矩陣。

相關係數矩陣中存在著一些顯著的相關，例如age和bmi，這就說明隨著年齡的增長，身體質量指數也會增加。此外，age和charges、bmi和charges以及children和charges也都呈現出相關性。

2.2 視覺化特徵之間的關係（散點圖矩陣）

散點圖矩陣（sactterplot matrix）是一個簡單地將散點圖集合排列在網格中，並且包含相互緊鄰的多種因素的圖表。

> pairs(insurance[c("age", "bmi", "children", "charges")])

• pairs()函式可用於繪製散點圖矩陣。

在散點圖矩陣中，每個行和列的交叉點所在的散點圖表示其所在的行與列的兩個變數的相關關係，在對角線上方的圖和下方的圖是互為轉置的。大部分的散點圖看上去像是隨機密佈的點，但還是有一些會呈現出某種趨勢，例如age和charges之間的關係呈現出幾條相對的直線，而bmi和charges則構成了兩個不同的群體。

> pairs.panels(insurance[c("age", "bmi", "children", "charges")])

• pairs.panels()函式屬於R包psych，其產生的散點圖矩陣有著更多的資訊。

對角線的上方表示的是相關係數矩陣，對角線上的直方圖描繪了每個特徵的數值分佈，對角線下方的散點圖帶有更多的視覺化資訊。

散點圖中的橢圓被稱為相關橢圓（correlation ellipse），它提供了一種變數之間是如何密切相關的視覺化資訊。相關橢圓中心的點表示x軸變數的均值和y軸變數的均值。兩個變數的相關性由橢圓的形狀所表示，橢圓越被拉伸，其相關性越強。若形狀近似於圓，如bmi和children，則表示一種非常弱的相關性。

散點圖中的曲線是區域性迴歸平滑（loess smooth）曲線，它表示x軸和y軸變數之間的一般關係。例如，對於age和bmi而言，區域性迴歸平滑曲線是一條傾斜的逐步上升的線，這說明bmi會隨著age的增長而增長，這個結論從相關係數矩陣中也能得出。

（三）基於資料訓練模型

> ins_model <- lm(charges ~ age + children + bmi + sex + smoker + region, data = insurance)
> ins_model

Call:
lm(formula = charges ~ age + children + bmi + sex + smoker + 
    region, data = insurance)

Coefficients:
    (Intercept)              age         children              bmi          sexmale        smokeryes  regionnorthwest  
       -11938.5            256.9            475.5            339.2           -131.3          23848.5           -353.0  
regionsoutheast  regionsouthwest  
        -1035.0           -960.1  

• lm()函式用於對資料擬合線性迴歸模型；
• 直接輸入模型物件名稱ins_model，就可以輸出估計的係數。

需要注意的是，我們在模型公式中僅僅指定了6個變數，但是卻輸出8個係數（除截距外）。這是因為lm()函式自動將虛擬編碼（dummy coding）應用於模型所包含的每一個因子型別的變數中。當新增一個虛擬編碼的變數到迴歸模型中時，一個類別總是被排除在外作為參照類別，然後估計的係數就是相對於參照類別解釋的。在我們的模型中，自動保留了sexfemale、smokerno和regionnortheast變數，使東北地區的女性非吸菸者作為參照組。因此，相對於女性來說，男性每年的醫療費用要少131.30美元，吸菸者平均多花費23848.50美元，遠遠超過非吸菸者。此外，模型中另外3個地區的係數是負的，這意味著東北地區傾向於具有最高的平均醫療費用。

線性迴歸模型的結果是合乎邏輯的，因為高齡、吸菸和肥胖往往與其它健康問題聯絡在一起，而額外的家庭成員或者受撫養者可能會導致就診次數增加和預防保健費用的增加。

至此，我們已經得到了迴歸模型，但是目前並不知道該模型對資料的擬合有多好。下一篇再接著講解吧！