以下內容由Mockplus團隊翻譯整理，僅供學習交流，Mockplus是更快更簡單的原型設計工具。

如何有效地進行A / B測試，以達到持久的效果。

很多公司希望通過對一些營銷網站進行調整來增加收入和使之更容易被用戶接受。這意味著需要更多的轉化次數，更多的點擊次數，更多的分享和更多的用戶。他們告訴你先做什麽呢？首先，進行A / B測試吧！比較頁面的兩個版本，確定一個關鍵指標（例如點擊次數），並查看是否獲得更多點擊次數。但是，這是真實有效的嗎？這真的是你應該采取的方法嗎？我們來看看具體數據。

在本質上，A / B測試是一個實驗，以相對於定義的度量來評估多個(通常是2)版本的特性或頁面。

這篇文章註重的是淺談A / B測試——測試那些團隊給用戶交付有效價值的輕微改變。

A / B測試----治標不治本的創口貼

對於擁有數百萬用戶的應用程序，你的應用程序的輕微改變（如顏色，布局和語言）可能會使你的關鍵指標有著顯著的增加，例如，更多點擊次數和用戶參與度。但是，真正的問題來了：對於擁有較小用戶群的公司，你應該嘗試專註於不同的“註冊”按鈕顏色還是專註於切實使你的產品更好的元素？

對許多公司來說，A / B測試成為了許多公司價值貧瘠的創口貼。如果你的內容沒有被分享，也許你的內容實際上不值得分享，不管你將“分享按鈕”做的有多棒，結果都是一樣的!

此外，也許你的目標不應該是獲得預期的按鈕點擊次數。也許你的主要目標應該是與用戶之間建立信任，提供沙盤演示，或讓潛在客戶做出決定。

調查數據

AppSumo評估，實際上只有25％的A / B測試產生了有意義的結果。 為什麽是這樣的呢？那麽，我們首先來定義什麽是有意義的結果。對於許多這樣的測試，主要指標是試圖改變會話率。所以，如果會話率沒有增加，那麽說明測試失敗了。

不到25％的A / B測試產生了有意義的正面結果 - AppSumo

但是，我們可以用不同的方式來看待它。如果更改你的銷售口號標題，banner圖或CTA沒有提高指標，那麽，這也許表明更大的問題。失敗的測試也應該是一個指標，說明：

1.你的網站訪客還沒有準備購買

2.除了註冊，你的網站訪客還在尋找其他的東西

3.你的核心產品根本沒有吸引力

4.需要為產品進行更多合格的深度測試

下一個數據集來自於2016年5月1日至5月30日進行的一項定性和定量的a/b測試(西北部，IDS - 賈斯汀·貝克，2016年)。盡管這並不是所有調查的最終結果，但它仍能給我們一些有意義的見解。

關鍵點

●45%的受訪者表示，他們的公司每3個月就開始一次新的AB測試，另外，40%的人每周或每月進行一次;

●60%的受訪者說他們的AB測試持續時間是在1周到1個月之間;

●38%的受訪者說他們的AB測試實驗中只有不到10%真正轉化為實際行動;

●45%的受訪者表示，自AB測試後，應用程序的改變會持續1到6個月。

只有10％的A / B測試實驗產生了可操作的變化 ——正式發布新版本的頁面或功能。

訪談數據

為了補充定量研究，A / B測試人員（2至6年的A / B測試經驗）被問及關於A / B測試功效的開放性問題。以下是訪談獲取的關鍵數據：

50％的團隊由於不確定或測量不佳的數據，無法從A / B測試實驗中做出決定。

●12位受訪者中有10人指出，A / B測試的主要缺點是90％或更高比例的測試實驗是“失敗”的。

●12名受訪者中有6人指出，根據A / B測試結果進行產品決策是非常困難的，因為大多數結果是不確定的或明顯是失敗的。這意味著大約90％的時間是保持現狀的。

●12名受訪者中有10人指出，A / B測試的主要好處是“增加收入”。

使A / B測試變得有用

總的來說，這些結果告訴我們什麽呢？

公司可能會頻繁地進行A/B測試，因時間過短，導致高失敗率，使得A / B測試結果變得不那麽有價值和有意義。

這裏有一些技巧可以幫助你的應用程序進行有用的A/B測試。

1. 不要分心——更改顏色、號召性文本和布局可能會對你的關鍵性能指標產生微小的影響。然而，這些結果似乎是非常短暫的。可持續的增長並不是由一個按鈕從紅色變成藍色就可以，而是來自設計人們想要使用的產品。

2. 不要把口紅塗在豬身上——更好的一頭豬仍然是豬。如果你是想賣豬，那你就做得很好。如果不是，那就專註於創造更好的用戶體驗和更好的價值定位。

3. 使用實際的統計數據——不要依賴於簡單的1對1的比較指標來決定什麽是有效的，哪些是無效的。“版本A的轉化率是20%，而B版本的轉化率是22%，因此我們應該轉換為版本B！”“請不要這樣做。”你要做的是使用實際的置信區間、z分數和統計上的重要數據。

4. 測試時間越長越好——你運行測試的時間越長，你的數據就會越好地解釋數據波動和無關的變量。不要在陣亡紀念日的周末用紅/白/藍的主題進行測試，然後在接下來的一年裏切換到這個主題進行測試。

5. 失敗沒什麽的，但是失敗的代價是很昂貴的——如果你繼續發布人們討厭的應用程序版本，那麽它對你的度量標準有什麽影響呢? 如果大多數測試實驗都失敗了，那麽你看起來更像是做對了，還是做錯了呢？ 你花了多少時間來設計和實施A / B測試? 失敗和試驗是建立公司的自然產物。如果有些東西沒有作用，也許不是因為你的按鈕需要變得更醒目，也許是因為你需要讓你的功能變得更好。

文章太長，這裏做下總結：

有效的A / B測試是給你的客戶帶來持久，積極的價值。如果你陷入微乎其微的版本改變循環，那麽你基本上是給自己刨坑而不是推動你的產品發展。

測試有意義的功能，使用真實的統計信息，獲得真實的反饋，並進行更長的測試時間。為你的用戶提供真正的價值，而不是玩色彩和耍聰明。我不是貶低你的布局被優化的重要性，你的副本是強大的，並且你的信息層次結構是流暢的。我想讓團隊通過增加價值和解決問題來思考改善用戶體驗，而不是通過在豬上塗口紅或嘗試用新的標題來舞文弄墨。

原文作者：Justin Baker

原文地址：https://hackernoon.com/a-b-testing-youre-doing-it-wrong-77d628ac9518

Mockplus做原型，更快更簡單，現在下載Mockplus，免費體驗暢快的原型設計之旅。

A/ B測試——你做的是錯的