怎麼做模型AB實驗？ 11 November 2018
摘要：
不管是模型、策略、規則，我們都希望用灰度釋出、AB實驗的方式驗證它的實際效果，並且用到一些統計指標來量化效果的好壞。
AA實驗 vs AB實驗
實驗波動
AA實驗的波動的原因非常多，大多屬於隨機性因素。
我們需要用置信度和置信區間來描述波動性，從而判斷AB實驗的結果是策略生效導...
不管是模型、策略、規則，我們都希望用灰度釋出、AB實驗的方式驗證它的實際效果，並且用到一些統計指標來量化效果的好壞。
AA實驗 vs AB實驗
實驗波動
AA實驗的波動的原因非常多，大多屬於隨機性因素。
我們需要用置信度和置信區間來描述波動性，從而判斷AB實驗的結果是策略生效導致的還是波動導致的。
你做無數多次AA實驗，指標的差落在某個範圍內（置信區間）的概率有多大（置信度）。
當拿到一個AB實驗資料的時候，我們要能夠知道資料指標有多大概率是因為波動而貢獻的。
實驗指標
指標標準差描述的是指標取值的穩定程度。
尋找穩定性稍好的指標
Read/U（平均每個使用者每天會有多少次閱讀）
參考連結
https://juejin.im/post/5bcd3cfcf265da0b001f69a9