1.1說明伯努利模型的極大似然估計以及貝葉斯估計中的統計學習方法三要素。伯努利模型是定義在取值為0和1的隨機變數上的概率分佈。假設觀測到的伯努利模型n次獨立資料生成結果，其中k次的結果為1，這時可以用極大似然估計或貝葉斯估計來估計結果為1的概率。

用極大似然估計

L(θ)=f(x_1,x_2,...x_n|θ)=Ck_nθ_k(1−θ)n−k
直接求一階導數另其等於零
k⋅θk−1(1−θ)n−k−(n−k)θk(1−θ)n−k−1=0
θ̂ _ML=arg max_θL(θ|x)
得到0，1，k/n 三個解

用極大後驗估計

θ̂ _MAP=arg max_θP(X|θ)P(θ

用貝葉斯估計

貝葉斯估計是在MAP上做進一步拓展，此時不直接估計引數的值，而是允許引數服從一定概率分佈。
P(θ̂ |X)=∫_θ∈ΘP(x̂ |θ)P(θ|X)dθ=∫_θ∈ΘP(x̂ |θ)

1.2通過經驗風險最小化推導極大似然估計，證明模型是條件概率分佈，損失函式是對數損失函式時，經驗風險最小化等價於極大似然估計