TensorFlow Probability 概率程式設計入門級實操教程
雷鋒網 AI 科技評論按：TensorFlow Probability（TFP）是一個基於 TensorFlow 的 Python 庫，能夠更容易地結合概率模型和深度學習。資料科學家、統計學以及機器學習研究者或者從業者，都可以用它編碼領域知識 (Domain Knowledge)，從而理解資料並寫出自己的應用。針對那些對 TFP 還不那麼熟悉的入門者，日前，谷歌 TensorFlow Probability 的產品經理 Mike Shwe 及軟體工程師 Josh Dillon、谷歌的軟體工程師 Bryan Seybold 及 Matthew McAteer 、 Cam Davidson-Pilon 共同在 TensorFlow 官網上釋出介紹 TensorFlow Probability 的入門級實操性教程——《Bayesian Methods for Hackers》的文章，雷鋒網 AI 科技評論編譯如下。
之前沒有學過概率程式設計？對 TensorFlow Probability （TFP）還不熟悉？下面我們為你準備了入門級實操性教程——《Bayesian Methods for Hackers》（教程檢視地址： https://camdavidsonpilon.github.io/Probabilistic-Programming-and-Bayesian-Methods-for-Hackers/#tensorflow ），這門教程的例項現在也在 TFP 中開放了。作為對所有人開放的開源資源，TFP 版本的概率程式設計對之前用 PyMC3 寫的那版進行了補充。
《Bayesian Methods for Hackers》具備許多優勢：它不僅能讓概率初學者較容易上手，而且還展示瞭如何將概率程式設計應用於現實問題。
每個人都可以學的概率程式設計
雖然概率程式設計不要求貝葉斯方法（Bayesian approach），但是該方法提供了一個相對直觀的框架，來表示信念（representing beliefs），並基於新的資料來更新這些信念。《Bayesian Methods for Hackers》使用 TFP 為基礎，以實操的方式來教授這些技術。由於這本書由 Google Colab 所寫，你可以執行並修改其中的 Python 示例。
TensorFlow 團隊開發的 TFP 專門面向資料科學家、統計學家以及以及想要編碼領域知識 （Domain Knowledge）來了解資料並進行資料預測的機器學習研究者和從業者。TFP 是基於 TensorFlow 的 Python 開發庫，能夠更容易地結合概率模型和先進硬體上的深度學習。TFP 可以讓你：
-
互動地探究資料
-
快速地評估不同的模型
-
自動地利用先進的、向量化的硬體加速器
-
更輕易、更有把握地啟用。TFP 經專業地開發和測試，可使用現成的 Google-Cloud，並且還有一個強大的開源社群的支援。
正如我們在相關博文中曾討論過的，概率程式設計有非常多樣化的應用，包括金融、石油和天然氣等各行各業。為什麼？——因為不確定性無處不在。現實世界的現象——即便是那些我們完全瞭解的現象，都受到我們無法控制甚至無法意識到的外部因素的影響。如果忽略這些因素，這些模型所得出的結論可能往好裡說是誤導性的或者是完全錯誤的。我們開發出了對所有場景都可用的 TFP，就是為了對我們周圍所有的不確定性進行建模。
解決現實世界的問題
許多貝葉斯教程都是聚焦於解決那些已有分析結果的簡單問題：比如擲硬幣和擲骰子的問題。不過《Bayesian Methods for Hackers》一書是從這些簡單的問題開始，之後迅速轉向更加現實的問題，例如從理解宇宙到檢測某個線上使用者的行為變化等。
在這篇文章接下來的部分，我們將一起探討一個 非常有名的現實世界的問題，這個問題在 Bayesian Hackers 一書中的第二章節（檢視地址： https://github.com/CamDavidsonPilon/Probabilistic-Programming-and-Bayesian-Methods-for-Hackers/blob/master/Chapter2_MorePyMC/Ch2_MorePyMC_TFP.ipynb ）有更詳細的描述：1986 年太空梭挑戰者的災難。
1986 年 1 月 28 日，美國挑戰者號太空梭的第 25 次飛行中，由於一處 O 形圈故障，挑戰者號的兩個固體火箭助推器其中的一個發生了爆炸。雖然控制中心的工程師們與 O 形圈製造商就先前飛行中的損壞進行了多次溝通，但製造商堅持認為風險是可以接受的。
下圖將對先前太空梭任務中的七次 O 形圈損壞事件的觀測，描述成了一個環境溫度的函式。（在 70 度時，有兩次損壞事件。）
你會注意到，隨著溫度的降低，O 形圈損壞的比例會明顯增多，不過沒有明顯的溫度閾值——低於該閾值時 O 形圈就一定會失效。與現實世界中的大多數現象一樣，這個問題涉及不確定性。我們希望在給定溫度 t 下，來確定 O 形圈失效的概率。
我們可以特別使用邏輯函式模擬溫度 t 下 O 形環損壞的概率 p ：
其中β確定概率函式的形狀，α是偏移項，控制函式從左向右移動。由於這兩個引數都既是正的或負的，也沒有特定的邊界或大小的偏差，我們可以將它們建模為高斯分佈隨機變數：
在 TFP 中，我們可以用 tfp.distributions.Normal 直觀地表示 α 和 β，其程式碼片段如下：
temperature_ = challenger_data_[:, 0] temperature = tf.convert_to_tensor(temperature_, dtype=tf.float32) D_ = challenger_data_[:, 1] # defect or not? D = tf.convert_to_tensor(D_, dtype=tf.float32) beta = tfd.Normal(name="beta", loc=0.3, scale=1000.).sample() alpha = tfd.Normal(name="alpha", loc=-15., scale=1000.).sample() p_deterministic = tfd.Deterministic(name="p", loc=1.0/(1. + tf.exp(beta * temperature_ + alpha))).sample() [ prior_alpha_, prior_beta_, p_deterministic_, D_, ] = evaluate([ alpha, beta, p_deterministic, D, ])
(如果要執行這個程式碼片段，請前往本書第二章的 Google Colab 版本，來執行整個太空梭示例)。
要注意的是，我們在第 8 行得到 p(t) 的實際值 0 或 1，其中我們使用此前在第 6 行和第 7 行中取樣的α和β值從概率函式（logistic function）中取樣。此外，注意 evaluate() 輔助函式可以讓我們實現圖表和 eager 模式之間的無縫轉換，與此同時將張量值轉換為 numpy。關於 eager 和圖表模型以及這一輔助函式的更詳細的講解，請檢視 第二章節的開頭部分 。
為了將溫度 t 下的失效概率 p(t) 與我們觀測的資料聯絡起來，我們可以使用帶引數 p(t) 的伯努利隨機變數。要注意的是，一般而言 Ber(p) 是隨機變數，它的值為 1 的概率為 p，其它情況下都為 0。因此，生成模型的最後一部分是溫度值為 ? 的情況下觀測到的有缺陷事件的數量 D?，我們可以對其建模為：
給定這一生成模型的情況下，我們希望找到模型引數從而讓模型能夠解釋所觀察到的資料——這正是是概率推理的目標。
TFP 通過使用非標準化的聯合對數概率函式評估模型來執行概率推斷。此 joint_log_prob 的論點是資料和模型狀態。該函式返回引數化模型生成觀測資料的聯合概率的對數。如果要了解更多關於 joint_log_prob 的資訊，可以檢視 這個 短文介紹。
針對上述挑戰者的示例，這裡我們定義 joint_log_prob 的方式如下：
def challenger_joint_log_prob(D, temperature_, alpha, beta): """ Joint log probability optimization function. Args: D: The Data from the challenger disaster representing presence or absence of defect temperature_: The Data from the challenger disaster, specifically the temperature on the days of the observation of the presence or absence of a defect alpha: one of the inputs of the HMC beta: one of the inputs of the HMC Returns: Joint log probability optimization function. """ rv_alpha = tfd.Normal(loc=0., scale=1000.) rv_beta = tfd.Normal(loc=0., scale=1000.) logistic_p = 1.0/(1. + tf.exp(beta * tf.to_float(temperature_) + alpha)) rv_observed = tfd.Bernoulli(probs=logistic_p) return ( rv_alpha.log_prob(alpha) + rv_beta.log_prob(beta) + tf.reduce_sum(rv_observed.log_prob(D)) )
注意 15-18 行怎樣簡單地對生成模型、每行的隨機變數進行編碼。同時也要注意 rv_alpha 和 rv_beta 表示此前對 ? 和 β 分佈的隨機變數。相比之下， rv_observed 表示給定一個引數為 ? 和 β 的概率分佈情況下溫度和 O 形圈輸出的觀察可能性的條件分佈。
接下來，我們使用 joint_log_prob 函式，並將其傳送到 tfp.mcmc 模組。 馬爾可夫鏈蒙特卡洛 （MCMC）演算法對未知的輸入值進行有依據的猜測，並計算 joint_log_prob 函式中引數集的可能性。通過多次重複這一過程，MCMC 構建了可能的引數的分佈，而構建這一分佈是概率推理的目標。
因此，我們將在 challenge_joint_log_prob 函式上設定一種特定型別的稱為「哈密頓蒙特卡洛」的 MCMC：
number_of_steps = 60000 burnin = 50000 # Set the chain's start state. initial_chain_state = [ 0. * tf.ones([], dtype=tf.float32, name="init_alpha"), 0. * tf.ones([], dtype=tf.float32, name="init_beta") ] # Since HMC operates over unconstrained space, we need to transform the # samples so they live in real-space. unconstraining_bijectors = [ tfp.bijectors.Identity(), tfp.bijectors.Identity() ] # Define a closure over our joint_log_prob. unnormalized_posterior_log_prob = lambda *args: challenger_joint_log_prob(D, temperature_, *args) # Initialize the step_size. (It will be automatically adapted.) with tf.variable_scope(tf.get_variable_scope(), reuse=tf.AUTO_REUSE): step_size = tf.get_variable( name='step_size', initializer=tf.constant(0.5, dtype=tf.float32), trainable=False, use_resource=True ) # Defining the HMC hmc=tfp.mcmc.TransformedTransitionKernel( inner_kernel=tfp.mcmc.HamiltonianMonteCarlo( target_log_prob_fn=unnormalized_posterior_log_prob, num_leapfrog_steps=2, step_size=step_size, step_size_update_fn=tfp.mcmc.make_simple_step_size_update_policy(), state_gradients_are_stopped=True), bijector=unconstraining_bijectors) # Sampling from the chain. [ posterior_alpha, posterior_beta ], kernel_results = tfp.mcmc.sample_chain( num_results = number_of_steps, num_burnin_steps = burnin, current_state=initial_chain_state, kernel=hmc) # Initialize any created variables for preconditions init_g = tf.global_variables_initializer()
最終，我們將真正通過 evaluate() 輔助函式進行推理：
evaluate(init_g)
[
posterior_alpha_,
posterior_beta_,
kernel_results_
] = evaluate([
posterior_alpha,
posterior_beta,
kernel_results
])
print("acceptance rate: {}".format(
kernel_results_.inner_results.is_accepted.mean()))
print("final step size: {}".format(
kernel_results_.inner_results.extra.step_size_assign[-100:].mean()))
alpha_samples_ = posterior_alpha_[burnin::8]
beta_samples_ = posterior_beta_[burnin::8]
繪製 α 和 β 的分佈圖時，我們注意到這兩個引數的分佈相當寬泛，正如我們所預期的那樣，資料點相當少，並且失效和非失效觀測的溫度出現重疊。然而，即使分佈寬泛，我們也可以相當確定溫度確實對 O 形圈損壞的概率有影響，因為β的所有樣本都大於 0。同樣，我們也可以確信 α 明顯小於 0，因為所有的樣本都能很好地轉化為負數。
正如我們上面所提到的，我們真正想知道的是： 在給定溫度下，O 形環損壞的預期概率是多少？為了計算這一概率，我們可以對來自後驗的所有樣本求平均值，從而得到概率 p(t?) 的可能值。
alpha_samples_1d_ = alpha_samples_[:, None] # best to make them 1d
beta_samples_1d_ = beta_samples_[:, None]
beta_mean = tf.reduce_mean(beta_samples_1d_.T[0])
alpha_mean = tf.reduce_mean(alpha_samples_1d_.T[0])
[ beta_mean_, alpha_mean_ ] = evaluate([ beta_mean, alpha_mean ])
print("beta mean:", beta_mean_)
print("alpha mean:", alpha_mean_)
def logistic(x, beta, alpha=0):
"""
Logistic function with alpha and beta.
Args:
x: independent variable
beta: beta term
alpha: alpha term
Returns:
Logistic function
"""
return 1.0 / (1.0 + tf.exp((beta * x) + alpha))
t_ = np.linspace(temperature_.min() - 5, temperature_.max() + 5, 2500)[:, None]
p_t = logistic(t_.T, beta_samples_1d_, alpha_samples_1d_)
mean_prob_t = logistic(t_.T, beta_mean_, alpha_mean_)
[
p_t_, mean_prob_t_
] = evaluate([
p_t, mean_prob_t
])
我們可以在整個溫度範圍內計算 95％的可信區間。要注意的是，這個區間是可靠的，而不是在統計分析的頻率論方法中常用到的置信區間。95％可信區間告訴我們，能夠以 95％的概率確定真實值將位於此區間內。例如，在正如下圖中的紫色區域所顯示的，在 50 度時，我們可以 95％確定 O 形圈損壞的概率介於 1.0 和 0.80 之間。諷刺地是，許多人都錯誤地將置信區間解釋為具有這一特徵。
挑戰者號災難發生的當天，其溫度為 31 華氏度，這一事實證明了，O 形圈失效的後驗分佈將使我們高度確信挑戰者號會出現損壞的問題。
這種非常簡單的概率分析展示了 TFP 和貝葉斯方法的強大：它們可以提供有價值的分析，同時可以對可能帶來嚴重後果的現實世界的問題進行預測。
在《Bayesian Methods for Hackers》一書中，你可以看到大量現實世界示例。對 簡訊量隨時間變化的分析 ，可以在製造業和生產系統中的各種故障檢測問題得到廣泛應用。在我們首次起草本章節的 TFP 版本的幾周時間內，谷歌的軟體工程師就應用了簡訊分析的方法來理解生產軟體的文字片狀（text flakiness）。
你可以找到某個分析來 尋找宇宙中的暗物質 。此外，書中還有 預測上市公司的股票收益率的方法 。
我們希望大家能深入瞭解本書中的概念性實操演示，並將這些技術應用到各自所在領域的問題中。歡迎大家在 Github 中發表評論和提出要求，來幫助我們對這本書不斷改進，從而使其實現最佳狀態！
本文參考： https://en.wikipedia.org/wiki/Space_Shuttle_Challenger_disaster
via： https://medium.com/tensorflow/an-introduction-to-probabilistic-programming-now-available-in-tensorflow-probability-6dcc003ca29e 雷鋒網 (公眾號：雷鋒網) AI 科技評論編譯。
雷鋒網原創文章，未經授權禁止轉載。詳情見 轉載須知 。