行數 操作 相加 vision 強化學習 machine 其余 tro ram

機器學習概述

Machine Learning: Grew out of work in AI & New capability for computers

Examples: Database Mining、Computer Vision、Natural Language Processing(NLP)、Self-customizing programs and so on

What is Machine Learning?

Arthur Samuel (1959)---Field of study that gives computers the ability to learn without being explicitly programmed.(事例:對象棋程序進行大量重復實戰訓練,提高程序戰勝自己的概率)

Tom Mitchell (1998)---A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E.(典型定義,需要區分對應場景的經驗、任務和測量值的對應對象,例如垃圾郵件的分類訓練)

機器學習的分類:

Supervised learning(監督學習) & Unsupervised learning(非監督學習)

Others: Reinforcement learning(強化學習), recommender systems(推薦系統).

Supervised learning

在確定結果的數據輸入下,對連續值問題的回歸問題分析和隊離散值問題的分類問題分析。

Unsupervised learning

未經已知結果的數據訓練,直接分析大量數據內部存在的聚類或者類似雞尾酒會問題。

線性回歸問題分析

Model representation

問題描述:

技術分享圖片

數學表達過程:

技術分享圖片

模型建立:

技術分享圖片

Hypothesis(假設預測函數)

hθ(x) = θ01x

其中x為特征數據輸入,θi(i=1,2)為參數,結果輸出為預測值。

Cost Function(損失函數)

技術分享圖片

Goal

技術分享圖片

兩種表現形式:

J-θ圖

技術分享圖片

等高線圖:

技術分享圖片

Gradient descent(梯度離散)

技術分享圖片

  1. 對參數的同時更新
  2. alpha取值過大可能會出現收斂失敗的情況,J-θ圖會出現上升,及損失函數發散,或出現大範圍波動,取值過小,導致收斂過慢
  3. As we approach a local minimum, gradient descent will automatically take smaller steps. So, no need to decrease α over time.

技術分享圖片

Batch Gradient descent(批量梯度離散)

梯度離散計算過程需要使用批量的訓練數據。

線性代數回顧

矩陣與向量

Matrix: Rectangular array of numbers.使用大寫字母表示(e.g. 矩陣A )

Dimension of matrix: 矩陣的行數×矩陣的列數

Matrix Elements: 矩陣的每一個數據

技術分享圖片

向量:一個n×1矩陣,使用小寫字母表示(e.g.y

技術分享圖片

矩陣的運算

同一維度的矩陣之間可以直接相加相減,對應位置元素完成操作;

矩陣的標量乘是標量與矩陣的每一個元素進行乘或除操作,結果位置不變;

矩陣與矩陣(包括向量)的乘法如下,其一般不滿足標量乘法間的交換律,可以滿足標量乘的結合律。

技術分享圖片

特殊矩陣

Index Martix(單位矩陣): 左上-右下對角線位置元素全為1而其余位置元素全為0的矩陣。任意矩陣與單位矩陣相乘結果仍為其自身。

轉置矩陣:矩陣的行列元素互換形成的新矩陣。

逆矩陣:求與自身矩陣相乘結果為單位矩陣的過程,稱為求矩陣的逆矩陣。少數特殊矩陣不含有逆矩陣,稱為對角矩陣或簡並矩陣。

機器學習---吳恩達---Week1(機器學習概述與單變量線性回歸方程分析)