文章介紹了A/B 測試在產品改版過程中的落地過程，希望對你有所啟發。
獲客拉新在產品發展的中早期一直是市場和運營日常工作中非常重要的工作之一，活動落地頁的設計對於一款互聯網產品來說，重要性不言而喻，但落地頁如何設計和改版，不是仿照其他產品的樣式那樣簡單，由於每一個產品所處的行業、營銷活動目的、公司資源各不相同，所以也就沒有一成不變的策略，我們需要分析活動表象下面的數據，通過數據來思考我們下次行動的方向。
最近我們產品官網做了一次大改版，線索轉化率較之前提升2%，Demo 內任意事件操作轉化率提升1.3%（登錄 Demo 使用產品是我們產品核心功能之一，只有新用戶註冊後登錄 Demo 體驗了產品，才能讓用戶真正體驗到我們產品的價值，即新用戶過來後我們一定要讓他們體驗到產品的真正價值，這樣後續才能持續轉化）。
一、為什麽要做改版？
線索增長率趨於平緩，穩中有降，業務增長進入瓶頸，觀察用戶行為數據發現了一些有趣的現象，也是我們現有版本的問題：
- 從新用戶來源的關鍵詞來看，用戶更關心用戶行為分析、數據分析平臺、網站數據分析等
- 從用戶點擊圖來看，用戶更想進入 Demo 頁一探究竟，間接說明從落地頁未獲得自己想要的信息
- 從用戶行為來看，用戶在註冊申請賬號體驗 Demo 時遇到了阻礙，有大量用戶流失
- 從用戶路徑來看，用戶註冊成功後有一部分用戶找不到登錄入口，也就不能體驗產品核心價值功能
二、改版的目標是什麽？
- 新用戶來到落地頁後，能夠很方便的獲取足夠的信息，有申請賬號試用的沖動
- 每個 Demo 的文案描述，直切用戶需求痛點
- 梳理註冊賬號體系，優化泄漏點，提升註冊轉化率
- 註冊成功後新手引導流程，可快速找到 Demo 登錄入口，減少反復和流失
三、A/B測試落地過程
設計用戶分流規則
將用戶訪問的匿名 ID 按照100取余，余數在0-49之間的用戶訪問 A 版本，余數在50-99之間的用戶訪問Ｂ版本，這樣能確保分流過程足夠隨機。B 版本為新版本，A版本為舊版本。
數據追蹤埋點
無追蹤就不能復盤分析，所以需要對產品埋好點，為所有埋點數據增加一個屬性參數比如app_version，用於追蹤不同版本的表現。
梳理賬號體系
將核心關鍵步驟每一步驟都埋好點，便於分析轉化和流失點。
四、效果評估
最終確定的A、B兩個版本對比圖（限於篇幅只截了頭圖）
不同版本的宏觀表現：跳出率、平均停留時長、平均訪問深度
顯然B版本的跳出率要低於 A 版本的跳出率，說明用戶對 B 版本的第一印象不錯。但是 B 版本的平均停留時長和平均訪問深度略低於 A 版本，那 B 版本到底表現是好還是不好？關於這個問題，對不同產品而言，有的產品並不是平均停留時長和平均訪問深度越高就越好的，如果他在較短的時間內和瀏覽了較少的頁面就去註冊了，恰恰說明他在短時間內快速獲得了自己所需要的信息，並急於申請試用。
不同版本的目標實現：線索轉化率和 Demo 登錄轉化率
關於線索轉化率的衡量可謂是一波三折，有驚有喜。
第一波，線索轉化率和 Demo 登錄轉化率 B 版本均高於 A 版本。
從瀏覽首頁到點擊申請試用按鈕的轉化率提升了2%，成功申請後到登錄 Demo 體驗 Demo 的轉化率提升了1.3%，皆大歡喜！
一個星期後，戲劇性的事情翻轉了…
第二波，Demo 登錄轉化率 B 版本低於 A 版本11%
任何事情還真不能高興的太早，一個星期後，老板問，B 版本的表現居然低於A版本11個百分點，你們看看這到底怎麽回事？所有參與新官網設計的人都很焦慮，難道辛辛苦苦設計的新版本比老版本差這麽多？
開始追本溯源，註冊轉化率 B 版本高於 A 版本，但是 Demo 登錄轉化率反降低了，所以問題出在從瀏覽體驗 Demo 頁到 demo 登錄頁這個部分。
於是又測試了一遍從註冊到登錄 Demo 的流程：
發現從新官網完成註冊之後，跳轉到 Demo 體驗頁面居然是舊官網的體驗 Demo 頁面，會給用戶帶來錯覺，這還是我最開始訪問的那個網站嗎？最後緊急替換成新的體驗 Demo 頁面。
第三波，從瀏覽 Demo 頁到 Demo 登錄轉化率提升後，1個多星期後再次下降了
這次數據的下降，其實老板並沒有發現，所以要趕在老板發現前，先把問題找出來，汗顏…
各種假設找原因中，會不會是在 Demo 頁，新版本點擊登錄的比例小於舊版本？於是把成功提交申請後到 Demo 登錄的過程再次細化，在瀏覽 Demo 頁到 Demo 登錄之間增加一步“點擊登錄按鈕”，看看問題是不是出在這裏？
很失望，新版本從瀏覽Demo頁到點擊登錄的比例大於舊版本，所以問題應該不是出在 Demo 頁上，繼續假設排查中…
這些瀏覽 Demo 頁後沒有成功登錄 Demo 的這些流失的人都幹什麽去了？此時我們可以借助用戶分群，給這些流失的人打個標簽，看看這批流失的人整體的訪問路徑是什麽？
從中可以看出，新用戶從 Demo 頁跳轉到登錄頁後，有一定的用戶分流，有相當大比例的用戶重新來到了首頁，重新進行申請試用，也就是說存在同一個用戶申請多次的現象，所以又查看了人均申請次數這個指標，確實存在人均申請多次的情況，申請間隔還恰好是1分鐘。
很奇怪，他們不是成功申請了嗎，為什麽還要再申請？
從用戶登錄 Demo 的界面來看，猜想，很有可能在以下兩個地方出問題：
- 這一段時間有可能短信系統出問題，導致發送賬號存在一定的延遲，用戶收不到賬號密碼，以為出問題了，就重新點擊了“還沒賬號，申請試用”，所以也就不奇怪為什麽會有人重新來到首頁，重新申請了。
- 密碼輸入錯誤，但是又不支持找回密碼，只能重新申請。從數據中我們也驗證了該假設，確實存在同一個用戶密碼輸入錯誤多次的現象。
五、下一步產品優化方向
從數據分析中，我們也獲得了下一步產品優化的方向：
- 進一步完善賬號體系，忘記密碼後產品處理流程
- 盡量保證短信系統的穩定性，保證用戶在1分鐘內成功收到用戶名密碼
- 同一個手機號時候允許申請多次，如果不能申請多次，產品的處理流程是什麽
更多優化點，還在路上~~~
作者：李金霞，神策數據分析師，先後服務的客戶包含紛享銷客、拉鉤雲人事、網易七魚、ofo、多盟、更美等公司，致力於通過數據分析實現產品優化和精細化運營。
本文由 @李金霞 原創發布於人人都是產品經理。未經許可，禁止轉載。
題圖來自PEXELS，基於CCO協議
Tags: 用戶 產品 我們 落地 改版 體驗
文章來源：