【iCDO專訪】資料掌門人王曄：試驗、增長、最簡單的資料生產力

採訪 | 林   森

撰稿 | 侯蘇芸

編輯 | 華   子

坐在去北京的高鐵上，感冒混雜暈車，不好受，但聽著採訪錄音竟然有些小興奮，許久沒聽到這麼直白的對話，關於裂變、增長、AI的案例和報告滿天飛，但也大都止於此，至於背後的邏輯、坑與成果，基本是“概念以蔽之”。感謝吆喝科技CEO王曄的精彩回答，讓我們有機會從A／B測試一個看似非常小的觸點， 窺看到流量紅利結束，企業決策者面臨的增長挑戰和機遇；也從渠道測試、落地頁優化等細節工作，看到精細化營銷與運營的崛起與AI的真假實力……希望這篇專訪也能給你一些啟發。

問題1.

iCDO：什麼是A/B測試？

王曄：A/B測試是一種假設試驗，假設我們圈定的所有樣本面前，測試哪一種方式達成目標的效果更好，比如，同一個投放渠道，用A、B兩個廣告頁面做測試。聽著比較簡單，但假設試驗是一個非常嚴謹的工作，有很強的限定條件：一是，圈定的樣本具有代表性；另外，結果會有一個置信區間。回到剛才的例子，樣本具有代表性意味著投放渠道的流量需要相對穩定，比如，優酷、愛奇藝這些比較成熟的流量，這些流量的人群變化以年為單位，是非常具有代表性。同時，試驗結果會有一個置信區間，比如，有95%的可能性，A和B的結果範圍在5%到15%，這是一個很精確，或者說經得起考驗的結果。

問題2

iCDO：我們有時候會看到一些情況，第一次試驗A比B好，再做試驗，結果有可能相反？是什麼原因呢？

王曄：是的，有可能存在這樣的情況。比如樣本不具有代表性，舉個簡單的例子，新穎的APP，APP使用者群在早期會有比較大的變化，這個月的使用者和下個月的使用者很有可能不是同一群人，這種情況就不太適合A/B測試。再比如說，我們開始一個試驗，需要對APP的使用者進行取樣，這個時候一般不可能試驗一開始，使用者就同時開啟APP被取樣，有些人是當下開啟，有些人可能過了三五天才開啟APP，然後被取樣。這種情況我們一般會建議試驗的時間長一點，比如跑七天，而不是一天；同時也會在資料模型上做調整，一般系統能夠解決這樣的問題。

問題3

iCDO：那麼您覺得A/B測試在當下的營銷/運營環境中扮演了什麼角色，或者說如何體現價值？

王曄：A/B測試屬於試驗工具，工具是什麼，工具是解放生產力、提高效率，特別像微軟Office，Excel這種生產類的軟體工具，大家會用它來做各種各樣的事情。在越來越精細化的營銷和運營中，A/B測試會成為企業一線工作人員的基礎工具，它足夠簡單，足夠通用，會逐漸改變大家的工作習慣。

問題4

iCDO：如果這個工具很基礎，很重要，那麼是否會面臨一種挑戰，比如說，需求量大的企業自己內部也搞一個A／B測試工具？

王曄：這個問題很好，其實我們同樣可以先回顧下Excel的發展，一方面，Excel在誕生幾年後，仍然有很多競品，各種研發指標計算工具可以說是五花八門；另一方面，最早的office使用者一般是來自非科技行業，是這些行業裡的龍頭企業，他們沒有自己的工具，需要從外部引入。頂尖的技術企業，早期不會用Excel，也不會用Office，而是用自己的東西。但是你看，過了五年、十年或者更長的時間，Excel已經普及到高新技術企業，為什麼呢？因為在這些頂尖團隊裡，做一個完美的Excel或者A/B測試工具，不是他的主要目的，他不可能投入大量的精力去改進它，而賴以為生的廠商就會有動力去不斷優化迭代，也是在這個過程中逐漸成為企業最優的選擇。A/B測試的發展路徑可能是類似的，也許是很久以後，但也可以說是非常自然的事情。

問題5

iCDO：okay，那麼目前哪些行業或者場景適合用A/B測試呢？

王曄：從行業角度來看，一般是2C類，流量比較大，或者比較重視轉化率，比如金融、教育、大旅遊、跨境電商、媒體資訊等，這些行業的產品在很多場景下都有試驗需求。總體來看，典型的特徵是：盈利企業，不燒錢；有流量，重視轉化率，但無法形成自然的增長，比如華住、永輝、環球易購、中國移動、平安等等，他們是行業的龍頭企業，實際上，也是我們優質客戶的代表。從場景來看，A/B測試是能夠滲透到企業營銷和運營很多環節裡的一個工具，最常見的是線上入口，廣告投放這些典型場景；縱深的看，前期的行業調研，使用者調研和實施，後期的線上線下流量獲取、使用者抓取都會有所涉及。有精細化營銷和運營的地方，就有A/B測試。

問題6

iCDO：那我們選取一個具體的場景來看，A/B測試能起到什麼作用？比如落地頁優化，因為我們都知道落地頁和轉化率的關聯也非常大，大家關注的裂變本質也是一個轉化率高的落地頁。

王曄：我們從幾個角度來分析，從企業角度來講，目標非常簡單，尤其具備增長能力的企業，比如尚德機構，會有專門的團隊優化廣告投放落地頁。落地頁有幾十種、幾百種甚至幾千種，針對不同渠道進行投放，然後人肉優化，比如投A關鍵詞，頁面轉化率不好，會不斷的更換頁面。我們的解決方案就是讓機器模擬這些人的工作，不需要人肉改連結，改頁面，而是用機器不斷進行A/B測試，實現自動優化。從產品邏輯講，落地頁優化機器人的方式就是給特定的人群或者渠道，投放特定的落地頁，然後儘可能的找到哪個落地頁，最適合哪個渠道。

問題7

iCDO：那麼從客戶角度來講呢？會比企業負責優化的同事幹得更好嗎？

王曄：從客戶角度講，他的體驗就是我請了一個機器人，但這個機器人很難比優化專家幹得好，這是現實狀況，但他肯定比外行要幹得好，同時又比外行便宜，投入產出比更高。

問題8

iCDO：那這個時候還可能出現一種情況，就是假如機器人提升了轉化，這是一個結果，但可能從營銷人員，或者運營操盤手的角度來講，他並不瞭解機器是如何實現的？為什麼會這樣調整？更多像黑盒子一樣，這個情況怎麼處理？

我們內部經常會提到一個粒子模型，剛才提到的關鍵詞是模型裡的相關性因素，但還有很多其他因素，比如價值主張，清晰度，反焦慮，最後轉化的緊迫感等等，比如，有多少人正在看這個頁面或者只剩三個席位，或者再過一小時票價上漲多少等等。我們要明確一個現實，目前幾乎只有一小部分網際網路運營者，他們通過多年經驗總結出來了一些方法論，他們對使用者的理解，對消費者的理解，對產品的理解都非常深刻，有能力做出非常棒的優化。機器人很難比這些專家更厲害，對於這些增長黑客，他們的實際需求往往非常明確，他很清楚的知道他需要機器人幫他執行哪一個部分，去完成增長需求。至於機器人如何做到的，其實不用糾結，因為機器人現階段是幹不過增值黑客的。

另外，更多會用到落地頁優化，A/B測試的是一些中小規模的企業，對他來說最重要的是效果，至於是怎麼達到這個效果，他不關心，也沒有精力去弄不明白。目前的市場情況是，大部分企業沒有能力招聘增長黑客來做精細化試驗，迭代優化等等，但他肯定在某些場景裡想要一個具體的解決方案，能夠立刻帶來價值，提升轉化率提升，比如落地頁優化。吆喝科技也是圍繞這個思路去推出一系列聚焦特定場景的產品，模擬增長黑客的做法。

問題9

iCDO：技術或者AI幹不過人，這可能和我們平時聽到的不太一樣，您如何定義AI？

問題10

iCDO：如果這是一個無法求得最終解的方程式，那麼AI在業務決策領域可以做到什麼程度？

我們可以想象一下，比如說影象識別，最優秀的影象識別系統是基於神經網路和深度學習，可以識別出每一張帶有狗的影象，很厲害，但實際上，我們可以針對這個影象識別算法制造一個陷阱圖片，這個圖片上沒有狗狗，但是AI按照演算法判斷不出來，會識別錯。這個意思就是說，讓AI做對一件事情不是很難，但是要AI不做錯一點事情就太難了。我們可以接受AI識別錯一張圖片，它的影響不大，我們也不會說AI不厲害，而是說它會有它適用的場景。

問題11

iCDO：確實是非常直白的解釋，非常感謝王總，最後兩個問題，我們回答眼前的現實，就是說A／B測試在增長導向的環境中越來越受重視，因為確實能夠幫助企業進行精細化營銷和運營。在這樣一個非常好的發展環境中，您認為實現增長最大的挑戰是什麼？