機器學習概述

Machine Learning: Grew out of work in AI & New capability for computers

Examples: Database Mining、Computer Vision、Natural Language Processing(NLP)、Self-customizing programs and so on

What is Machine Learning?

Arthur Samuel (1959)---Field of study that gives computers the ability to learn without being explicitly programmed.(事例：對象棋程序進行大量重復實戰訓練，提高程序戰勝自己的概率)

Tom Mitchell (1998)---A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E.（典型定義，需要區分對應場景的經驗、任務和測量值的對應對象，例如垃圾郵件的分類訓練）

機器學習的分類：

Supervised learning（監督學習） & Unsupervised learning（非監督學習）

Others: Reinforcement learning（強化學習）, recommender systems（推薦系統）.

Supervised learning

在確定結果的數據輸入下，對連續值問題的回歸問題分析和隊離散值問題的分類問題分析。

Unsupervised learning

未經已知結果的數據訓練，直接分析大量數據內部存在的聚類或者類似雞尾酒會問題。

線性回歸問題分析

Model representation

問題描述：

數學表達過程：

模型建立：

Hypothesis（假設預測函數）

h_θ(x) = θ₀

+θ₁x

其中x為特征數據輸入，θi(i=1,2)為參數，結果輸出為預測值。

Cost Function（損失函數）

Goal

兩種表現形式：

J-θ圖

等高線圖：

Gradient descent（梯度離散）

1. 對參數的同時更新
2. alpha取值過大可能會出現收斂失敗的情況，J-θ圖會出現上升，及損失函數發散，或出現大範圍波動，取值過小，導致收斂過慢
3. As we approach a local minimum, gradient descent will automatically take smaller steps. So, no need to decrease α over time.

Batch Gradient descent（批量梯度離散）

梯度離散計算過程需要使用批量的訓練數據。

線性代數回顧

矩陣與向量

Matrix: Rectangular array of numbers.使用大寫字母表示(e.g. 矩陣A )

Dimension of matrix: 矩陣的行數×矩陣的列數

Matrix Elements: 矩陣的每一個數據

向量：一個n×1矩陣，使用小寫字母表示（e.g.y）

矩陣的運算

同一維度的矩陣之間可以直接相加相減，對應位置元素完成操作；

矩陣的標量乘是標量與矩陣的每一個元素進行乘或除操作，結果位置不變；

矩陣與矩陣（包括向量）的乘法如下，其一般不滿足標量乘法間的交換律，可以滿足標量乘的結合律。

特殊矩陣

Index Martix(單位矩陣): 左上-右下對角線位置元素全為1而其余位置元素全為0的矩陣。任意矩陣與單位矩陣相乘結果仍為其自身。

轉置矩陣：矩陣的行列元素互換形成的新矩陣。

逆矩陣：求與自身矩陣相乘結果為單位矩陣的過程，稱為求矩陣的逆矩陣。少數特殊矩陣不含有逆矩陣，稱為對角矩陣或簡並矩陣。

機器學習---吳恩達---Week1（機器學習概述與單變量線性回歸方程分析）