由于電商APP的大改版，所以個人中心的首頁也在改版隊伍中。為了更加準确地找到首頁改版的關鍵點，筆者采用了AB實驗的形式，逐項通過各項數據指标進行分析，确定新版本改版效果。

報告内容：

分析報告面向的角色是産品經理，挑選的分析場景是經常遇到的産品優化中的效果驗證，使用的分析工具包括友盟 移動統計（U-App AI版）、内部數據産品。

文章結構：

1. 項目背景
2. 實驗期監測
3. 數據複盤
4. 疊代方向

以下數據均作特殊（脫敏）處理，非真實數據，僅供分析落地參考。

一、項目背景

為配合電商App的大改版，上級也對個人中心的界面風格提出新的要求，因此也提出個人中心首頁改版的要求。

1.1 改版分析

個人中心首頁作為信息分流類頁面，核心是快速将用戶導航到所需的的功能模塊。

其次，除了導航到不同的功能模塊，還提供商品推薦、引導郵箱驗證等内容（重點在于效果複盤，前期需求分析不做贅述）。

因此可以根據頁面的功能定位及現有提供的功能，制定本次改版目标。

1.2 改版目标

（1）優化個人中心首頁的功能導航，使用戶快速找到相應功能闆塊，降低個人中心的平均停留時間。

（2）推薦産品改為鋪開展示，增加個人中心首頁推薦位産品曝光量，提高個人中心首頁推薦位的交易量。

（3）郵箱驗證新增積分獎勵提示，促使更多用戶完成郵箱驗證，提高用戶郵箱驗證數。

1.3 實驗方式

新舊版個人中心首頁同時在線，通過分流工具進行流量劃分，保證實驗中的新舊樣本數量基本一緻。

1.4 實驗時間

2018年11月16日-2018年11月29日

1.5 實驗樣本

舊版會話數：500000；新版會話數：499999

頁面數據的對比是兩個版本同期在線，相近樣本數量下的數據表現。

交易數據的對比是改版前後新舊版本推薦位交易次數對比。

二、實驗期監測

AB實驗期間，會根據既定的改版目标，重點監控AB版本核心指标的對比情況，以便調整AB實驗的分流策略。

為保證初期分流比例能使AB版本的測試會話數足夠多，避免因基數過小出現對AB實驗結果的誤判，根據個人中心首頁近一個月的流量情況，設定初始實驗流量比例為20%。

（即假設平均每日訪問個人中心首頁的會話數有100000，那麼20%的比例參與實驗，每個版本每日分到的會話數就都是10000左右）。

2.1 平均停留時間

功能路徑：用戶洞察-事件分析-新建-頁面訪問路徑

對應指标名：平均訪問時長

指标含義：統計日期内，用戶對該功能頁面的平均使用時長情況；平均停留時間的大小本身并無好壞之分，根據具體場景評估平均停留時間大小的影響。

（以文章頁面為例，平均停留時間可能是越大越好；而對于導航類頁面，用戶能多快就多快找到自己想要的東西，平均停留時長是越小越好。）

2.2 退出百分比

功能路徑：基礎看闆-功能使用-頁面訪問路徑

對應指标名：跳出率

指标含義：統計日期内，該功能頁面是否會導緻用戶退出使用産品；退出百分比的大小本身并無好壞之分，根據具體場景評估退出百分比大小的影響。

（以商品頁面為例，退出百分比是越小越好，該類頁面的作用還是在流程指引上，并不是流程的終點，要盡可能避免造成用戶退出。

而對于支付完成頁面，用戶已經達成既定交易轉化目标，用戶可能會退出産品，退出百分比是越大越好。）

2.3 交易次數

功能路徑：基礎看闆-功能使用-自定義事件。

前置工作：在後台注冊後，然後在後台成功注冊後再進行埋碼，将“交易成功”作為事件埋點。

操作：點擊對應事件的“查看”操作，即可進行事件的趨勢分析。

2.4 郵箱驗證數

同2.3

根據AB實驗情況，效果達到預期優化方向，因此在後續時間裡，逐步放大實驗流量比例。過程中效果也依舊達到優化方向，直至完全放量，換下舊版本，換上新版本。

三、數據複盤

在全流量替換舊版本、上線新版本後，還需要監測新版本效果一段時間。在這裡選取了兩周作為效果觀察期，與實驗前數據進行對比校驗。

效果觀察期間，數據反饋情況依舊達到優化方向。因此，本次實驗順利完成，為便于後期疊代，下面進行改版的數據複盤。

3.1 數據概況

平均停留時間、退出百分比、郵箱驗證數：數據取自U-App AI版，對比時間段為11.16-11.27。

交易次數：數據取自自研數據系統，對比時間段為11.05-11.13與11.19-11.27；28、29号數據由于樣式發生變化，所以不納入計算，已修複。

實驗說明：采用的是自研數據系統的AB實驗功能，實驗的新舊樣本數量相近，不考慮基數造成目标次數的差異問題。

從上面數據來看，已滿足改版的三個目标：

1. 優化個人中心首頁的功能導航，使用戶快速找到相應功能闆塊，降低默認頁的停留時間。

從目前數據看，新版默認頁平均停留時間為12.0s，相較舊版的18.0s降低了27%；同時頁面退出百分比也降低35%，下降為2.00%。

說明改版在降低用戶頁面平均停留時間的同時，也并未造成更多用戶退出網站，反而是促使更多用戶持續訪問網站，達成改版目标。

2. 增加個人中心首頁推薦位産品的曝光量，提高默認頁推薦位的成單量。

從目前數據來看，新版默認頁交易次數為4,275，相較相鄰周期舊版的交易次數3,340次提高了28%；達成改版目标。

3. 郵箱驗證新增提示，促使更多用戶完成郵箱驗證，開啟積分模塊。

從目前數據來看，新版默認頁郵箱驗證數為3,755，相較舊版的郵箱驗證數735次提高了511%，達成改版目标。

3.2 頁面數據分析

3.2.1 訪問情況

從上面二維表來看，在自研數據系統的控制下，參與實驗的新舊版UV數相近，但PV數出現較大的差異：在相近的UV數下，新版的PV數比舊版的要高出13.04%，平均浏覽量達到3.45。

這說明參與新版實驗的用戶會比舊版實驗的用戶更高頻使用用戶中心，促進用戶中心模塊的用戶活躍度提高。

功能路徑：基礎看闆-功能使用-頁面訪問路徑。

對應指标名：PV對應“訪問次數”，UV無對應指标。

指标含義：PV即表示頁面的訪問次數，UV表示頁面的訪客數，但這裡缺少了頁面的UV統計，反應不了訪客對頁面的使用頻率。

例如注冊頁面較平時的平均訪問次數暴漲，可能是注冊流程存在流程使用障礙，如注冊成功返回不成功，引起用戶頻繁刷新，可能導緻UV不變，但PV暴漲。

3.2.2 頁面質量

由于個人中心首頁是定位于個人中心功能導航，所以在評判個人中心首頁的效率上，是從停留時間越短越好的角度出發（一定範圍内）。

從上圖看平均停留時間：頁面平均停留時間波動比較大，但新版個人中心首頁的平均停留時間大多時候都是比舊版的平均停留時間低，所以新版個人中心首頁達到了降低頁面平均停留時間的目标。

從上圖看退出百分比，可以看出頁面的退出率也是波動比較大，其中新版個人中心首頁的退出百分比也是大多時間低于舊版的退出百分比。

這說明新版個人中心首頁為引導用戶進一步訪問網站做出更大貢獻，從而其它頁面也得到更多的訪問；另一個角度，在降低頁面平均停留時間的同時，也并未造成更多用戶在該頁退出網站。

從上圖看頁面跳出率，可以看出：用戶在個人中心首頁進行着陸時，新舊版本的數據表現基本一緻，新版本并不能有效解決用戶着陸跳出的情況，跳出率一般反映着陸頁對用戶的吸引力，促使用戶進一步訪問網站。

可從下面幾點考慮下個版本的疊代：

1. 個人中心首頁并不是常規用戶的着陸頁，可從這些用戶的來源入手，為什麼在用戶中心着陸，再就來源進行分析；可能是站内用戶重啟會話的當前頁面，但沒繼續訪問就關掉頁面了。

2. 作為着陸頁，用戶讀完後，是不是沒有引導用戶進一步訪問頁面或者用戶沒有找到他想要的東西；同時，如果考慮引導新增，需要考慮個人中心首頁本身定位于功能導航頁面。

（暫不支持提供跳出率評估落地頁效果，跳出率統計來自内部自研的數據系統。）

3.2.3 事件觸發

目前網站的注冊是沒有經過郵箱驗證的環節，隻要是合乎格式的郵箱就能順利注冊成功，因此可能存在非用戶使用的郵箱，加大我們對用戶區分的難度。

同時，個人中心的積分模塊是需要郵箱驗證才能開啟。在新版的個人中心首頁中，新增了郵箱驗證的獎勵積分提示，期望讓更多用戶去完成郵箱驗證操作，上圖統計的是用戶點擊郵箱驗證的情況。

可以看到：新版郵箱驗證數遠高于舊版郵箱驗證數，伴随實驗流量的加大（23号調至50%），新舊版的驗證數對比越來越明顯。

截至29日，同樣實驗樣本，新版郵箱驗證數達3,755次，高出舊版郵箱驗證數511%。

3.3 交易數據分析

交易次數對比的是實驗上線星期前後9天的數據對比，采用的是星期對比（比如19日是周六，那對比的也是相鄰最近的周六），排除星期單量的周期變化帶來的影響。

可以看：在流量小初期，新舊對比還不是特别明顯，在23号加大實驗流量後，新舊間的交易次數對比就越來越明顯。

截至27日，對比11.05-11.13與11.19-11.27的交易次數，新版交易次數達4,275次，高出舊版交易次數28%。

3.3.1 推薦位點擊情況

從上面二維表來看，實驗上線星期前後9天，新版較舊版增加了14.00%的推薦點擊UV及12.25%的推薦點擊次數，從而促使更多用戶進入推薦轉化，促成更多的訂單。

下面我們來拆解不同推薦位的點擊情況：

可以看到，推薦位“猜你喜歡”及“秒殺”的點擊情況較舊版都有明顯增長，其中“猜你喜歡”增長最為明顯，UV和次數分别達到了31.12%、35.44%。同時，“曆史浏覽”呈現下降的趨勢，屬于負增長。

結合推薦位的位置考慮，“猜你喜歡”是屬于第一屏，不需要切換即可查看，因此可以推測産品展示方式改為鋪開展示後，雖然産品的曝光得到增長，但是也僅限第一屏的推薦位。基于“猜你喜歡”的點擊基數大，所以也讓整體推薦位的點擊次數得到增長。

同時，我們也發現：第一屏的推薦位會得到更高曝光，同時也會減弱用戶對其它推薦位的注意力，從而造成非第一屏推薦位（即需進行Tab切換的推薦位）的點擊發生明顯下降。

涉及對交易數據的維度拆分，采用的是觸點歸因（即分清每個位置實際帶來的交易轉化，而不是指經過這個路徑或操作的用戶轉化，如Banner實際銷售效果、文本鍊接實際銷售效果、活動頁面實際銷售效果）。

在這一塊，友盟 提供的産品尚未滿足對觸點歸因的支持，因此涉及對維度拆分分析的，采用自研數據系統，下同。

3.3.2 推薦位交易情況

從上面二維表來看，實驗上線星期前後9天，新版較舊版增加了14.22%的推薦交易UV及27.40%的推薦交易次數，促成更多的轉化交易。

下面我們來拆解不同推薦位的交易情況：

從上面來看，“秒殺”在改版過程中未做調整，隻做了UI界面改版，可能是秒殺商品的折扣力度問題，引起數值波動異常。

我們主要分析“曆史浏覽”及“猜你喜歡”兩個推薦位，結合前面3.3.1的分析，我們可以看到“猜你喜歡”交易的增長速度和點擊的增長速度相近，符合預期中伴随點擊越來越多，成交也越來越多。

同時，“曆史浏覽”的交易下降比例相較點擊卻低很多，而交易UV與點擊UV的下降比例也相近，推測可能是有用戶多次購買，從而造成交易下降比例不符預期。

3.3.3 推薦位轉化情況

從上面二維表來看，實驗上線星期前後9天，新舊兩版轉化對比來看，UV的交易轉化率基本不變，次數的交易轉化率有13.67%的提高，可以推測新版促成了用戶的多次交易行為。

下面我們來拆解不同推薦位的轉化情況：（僅拆解UV的轉化情況）

“秒殺”在改版過程中未做調整，隻做了UI界面改版。也是主要看“曆史浏覽”及“猜你喜歡”的轉化情況，可以看到“曆史浏覽”的轉化率（4.65%）遠高于“猜你喜歡”的轉化率（2.09%），同時“猜你喜歡”的轉化率并未因曝光增長而得到大幅提升。

四、疊代方向

4.1 跳出率優化

（1）用戶中心并不是常規着陸頁，可從用戶來源入手，為什麼在用戶中心着陸？再就來源進行分析；可能是站内用戶重啟會話的當前頁面，但沒繼續訪問就關掉頁面了。

U-App AI版可查看用戶訪問路徑，但存在不能就路徑某個環節具體分析，拆分出站外引流和站内引流入口的數據情況，按照場景去分析頁面的跳出情況，現有整體路徑分析的入口如下：

基礎看闆-功能使用-頁面訪問路徑

（2）作為着陸頁，用戶讀完後，是不是沒有引導用戶進一步訪問頁面或者用戶沒有找到他想要的東西。同時，如果考慮引導新增，需要考慮默認頁本身定位于功能導航頁面。

4.2 交易次數優化

（1）在鋪開産品展示時，第一屏的推薦位會得到更高曝光，同時也會減弱用戶對其它推薦位的注意力，造成非第一屏推薦位的點擊發生明顯下降。

（2）結合3.3.1及3.3.2，我們知道“曆史浏覽”的點擊和交易都是僅次于第一屏的“猜你喜歡”，但“曆史浏覽”的轉化率卻遠高于“猜你喜歡”的轉化率（兩倍多）。

因此，我們是否可以考慮将“曆史浏覽”作為第一屏，預期可以大幅提高我們在這的交易次數。

作者：JM，從事互聯網電商行業4年，其中3年數據産品經驗，從0到1規劃過訪客日浏覽量超千萬的流量分析系統。

本文為「人人都是産品經理」社區和友盟＋聯合舉辦的“2019「友盟杯」數據分析大賽”中獲獎作品，未經作者及平台許可，禁止轉載

本文部分數據有脫敏處理，非全部真實數據

題圖來自Unsplash，基于CC0協議

,

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!

查看全部