小步快跑做產品
增長黑客概念，會讓產品迭代速度越來越快。迭代快速的前提，是專案足夠小、上線後獲得收益的週期短。低成本專案和快速驗證的實驗，才能支援快速迭代專案。實驗類似之前更流行的說法-方案。你說方案的時候，可能揹負了確定收益的期待，以及不可回頭上線後效果不好的背鍋氛圍；說實驗少了確定性，追求堆積數量來找到突破。
實驗方法的核心步驟：
- 不斷收集想法
- 以最小成本上線
- 快速用資料說話
其中每一步，涉及大量細節，如優先順序排序、成本控制、指標選取、A/B test搭建…
A/B test好處是精準和快速。對比方案-迭代-版本效果迴歸這個流程，因為版本活躍使用者群、新增使用者分佈不同，難以完全排除因為使用者本身而帶來的資料變化。另外，迭代後灰度釋出到收集足夠的資料出結論，一般要一週。而A/B test讓同期使用者經歷同版本兩個不同的體驗，控制了使用者，有了控制對比，最短3天可以出結論。一個是事後日常觀察，一個是控制變數，A/B test有它的優勢。
不少人崇尚這樣的‘實驗驅動產品迭代’。有人說，自己網站的資料不好看，而後發現方法上有問題，實驗做得不夠多；有人說如果你堅持每週能夠做幾個實驗，產品總能走出困境。這樣說，讓人很難不心動實踐，大不了就是一試。
這個方法背後是概率。就像生物進化，不同的物種隨機變異，萬年積累，運氣好適應環境的那個留了下來。哪個實驗能勝出，不帶預判的時候，只選結果。只是大部分人做的專案，無法接受低成功概率。提高成功率關鍵之一在於選好的實驗，這就又回到的需求的來源：作為產品你自己去用去體驗，源於經驗；對資料的理解和挖掘；業內競品，什麼是新趨勢。
無奈這些都無法短期質變。
如何更有節奏和科學得執行流程，也能提高實驗成功率。源頭正確難速成，過程正確有方法可依。
Sean Ellis 提過一套完整實踐流程：High Tempo Experiment
- 廣泛參與，除了產品，其他部門人也加入實驗合作
- 快節奏，每週做3個實驗
- 每個實驗有專門Project Manger負責，他可以是任何部門的人
- 實驗上線後，跑足夠久的時間
多人蔘與，會讓實驗想法持續積壓，他為此每週例行Week Cadence，來推進想法。每次會議控制時間：
- 15分鐘過增長指標、問題、及機會
- 10分鐘回顧上週實驗結果
- 15分鐘分享實驗的結論和經驗
- 15分鐘選出下週實驗
- 5分鐘回顧剩下的實驗想法
每個實驗，會上Review從這幾個角度分析結果：
- 多問幾次為什麼
- 將結論系統化，也就是能否推廣到增長其他環節
- 對未來實驗有什麼幫助
- 幫助回顧更早做過的專案
實驗結果，通過Transparent Learning，讓更多人知曉。他們將所有結果，成功或失敗，無論好壞，分享給團隊。結果也記錄到實驗牆，團隊新成員看過一遍，知道做過哪些專案，效果如何，免去了新人興致勃勃有了一堆想法，推進時發現全部被實踐過。