1. 程式人生 > >多元線性迴歸方程原理及其推導

多元線性迴歸方程原理及其推導

多元線性方程原理及推導

概念

1.在統計學中,線性迴歸方程是利用最小二乘函式對一個或多個自變數之間關係進行建模的一種迴歸分析。這種函式是一個或多個稱為迴歸係數的模型引數的線性組合。只有一個自變數的情況稱為簡單迴歸,大於一個自變數的情況叫多元迴歸。 2.線上性迴歸中,資料使用線性預測函式來建模,並且未知的函式模型引數也是通過資料來估計。這種模型被叫做線性模型。最常用的線性迴歸建模是給定的X的條件下y的條件分佈的分位數作為X的線性函式表示。像所有形式的迴歸分析一樣,線性迴歸也是把焦點放在給定X的值的y的條件概率分佈,而不是X和y的聯合概率分佈(多元分析領域)。

公式

一元線性迴歸方程:y=a+bx a稱為截距 b為迴歸直線的斜率 在這裡插入圖片描述

多元線性迴歸方程:y=b0+b1X1+b2X2+…+bnXn b0為常數項 b1,b2,b3,…bn稱為y對應於x1,x2,x3,…xn的偏回歸係數

推導

在這裡插入圖片描述 在這裡插入圖片描述 使用極大函式解釋最小二乘 在這裡插入圖片描述 似然函式 在這裡插入圖片描述 高斯的對數似然與最小二乘 在這裡插入圖片描述 在這裡插入圖片描述 在這裡插入圖片描述 引數的解析式 在這裡插入圖片描述

總結

    自我認為多元線性方程的推導過程還是挺麻煩的,需要多看幾遍。學習推導的過程中,我們要認識一些數學符號,一些方法,比如最小二乘,極大似然,梯度等等。
    事實上,一種現象常常是與多個因素相聯絡的(比如:房子總價與房子面積,房間數,地段這些因素相關),由多個自變數的最優組合共同來預測或估計因變數,比只用一個自變數進行預測或估計更有效,更符合實際。因此多元線性迴歸比一元線性迴歸的實用意義更大。