1.簡述

在概率論中，霍夫丁不等式給出了隨機變數的和與其期望值偏差的概率上限，該不等式被Wassily Hoeffding於1963年提出並證明。霍夫丁不等式是Azuma-Hoeffding不等式的特例，它比Sergei Bernstein於1923年證明的Bernstein不等式更具一般性。這幾個不等式都是McDiarmid不等式的特例。

2.霍夫丁不等式

2.1.伯努利隨機變數特例

擲硬幣，假設正面朝上概率為 $p$ ，反面朝上概率為 $1 - p$ ，投擲 $n$ 次，則正面朝上次數的期望值為 $n p$ 。更進一步，有以下不等式：

P (H (n) \leq k) = \sum_{i = 0}^{k} (\binom{n}{i}) p^{i} (1 - p)^{n - i}

其中，

H (n)

是

n

次投擲中，正面朝上的次數。
對某一

ε > 0

，有

k = (p - ε) n

，上述不等式確定的霍夫丁上界將會按照指數級變化：

P (H (n) \leq (p - ε) n) \leq e x p (- 2 ε^{2} n) (2.1.1)

類似地，可以得到：

P (H (n) \geq (p + ε) n) \leq e x p (- 2 ε^{2} n) (2.1.2)

綜合(2.1.1)(2.1.2)，可得：

P ((p - ε) n \leq H (n) \leq (p + ε) n) \geq 1 - 2 e x p (- 2 ε^{2} n) (2.1.3)

令

ε = \sqrt{\ln n / n}

，代入(2.1.3)，有：

P (| H (n) - p n | \leq \sqrt{\ln n / n}) \geq 1 - 2 e x p (- 2 \ln n) = 1 - 2 / n^{2} (2.1.4)

(2.1.4)即為霍夫丁不等式的伯努利隨機變數特例。

2.2.一般形式

令 $X_{1} ， \dots ， X_{n}$ 為獨立的隨機變數，且 $X_{i} \in [a, b]$ ， $i = 1 ， \dots ， n$

。這些隨機變數的經驗均值可表示為：

\bar{X} = \frac{X_{1} + \dots + X_{n}}{n}

霍夫丁不等式敘述如下：

\forall t > 0 ， P (\bar{X} - E [\bar{X}] \geq t) \leq e x p (- \frac{2 n^{2} t^{2}}{\begin{matrix} \sum_{i = 1}^{n} (b_{i} - a_{i})^{2} \end{matrix}}) (2.2.1)

霍夫丁不等式（Hoeffding's inequality）

1.簡述

2.霍夫丁不等式

2.1.伯努利隨機變數特例

2.2.一般形式

霍夫丁不等式（Hoeffding's inequality）

凸函式與簡森不等式（Jensen's inequality）

Hoeffding's inequality霍夫丁不等式

機器學習推導合集01-霍夫丁不等式的推導 Hoeffding Inequality

機器學習數學原理（8）——霍夫丁不等式

霍夫曼編碼（C++ 優先佇列）

OpenCV霍夫變換系列（前篇）-經典霍夫線變換

霍夫圓變換（Hough）原理

OpenCV霍夫變換系列（中篇）-霍夫圓變換

演算法#19--霍夫曼壓縮（資料壓縮）

霍夫曼編碼（Huffman Coding）

opencv中的標準霍夫線變換（HoughLines）和統計霍夫變換（HoughLinesP）

霍夫曼樹（最優二叉樹）簡介

四邊形不等式（石子合並）

【算法】狄克斯特拉算法（Dijkstra’s algorithm）

資料結構—約瑟夫環問題（迴圈單鏈表）

哈夫曼樹（優先佇列實現）

ml課程：概率圖模型—貝葉斯網路、隱馬爾可夫模型相關（含程式碼實現）

Udacity強化學習系列（二）—— 馬爾科夫決策過程（Markov Decision Processes）

Qt中網路程式設計（C/S架構）Tcp