近日，《火山引擎A/B測試總體經濟影響白皮書》正式發布。這份白皮書由市場研究公司Forrester調研撰寫，以火山引擎客戶為研究對象，揭示了A/B測試對于企業營收增長、運營成本、生産力優化等方面的重要影響。Forrester從中發現，企業營收增長與其洞察力高度相關，領先企業的營收增長速度可以達到落後者5倍，而A/B測試正是企業提升洞察力最有效的工具之一。

那什麼是A/B測試呢？簡而言之，A/B 測試是一種在線控制實驗方法，在兩個或多個選擇中，得出一個最優解。具體來說， 在幾乎相同的條件下，如同一用戶群，分配一部分流量采用原方案A（對照組），另一部分流量給與新策略B（實驗組），然後用同一指标來衡量，如點擊率，比較是否具有統計學的顯著性差異，最後得出維持A還是采納B的結論。

A/B測試示意，來源：SA-VIT Fahad Dalwai

A/B測試在字節跳動這樣的互聯網公司是一項非常重要的基礎工具，據說連“抖音”這個名字都是通過A/B測試挑選出來的。截至2022年3月，字節跳動累計已有 120萬 的 A/B 實驗，日新增實驗 1800 ，同時運行實驗 2萬 ，服務 500 業務。如今，這項工具已于2020年實現産品化，通過火山引擎向企業客戶開放。

火山引擎數據産品負責人郭東東對媒體表示，随着火山引擎A/B測試的客戶越來越多，使用越來越深，就會越有信心覺得A/B測試是企業增長特别關鍵的能力和産品。A/B測試不隻是一個測試，它的核心價值是數據驅動，作為企業決策的一環，更是對企業業務模式的一種轉變。

“我們希望通過發布白皮書的方式，讓更多的企業客戶，尤其是中小客戶了解到 A/B測試的能力，到底能幫助他們做什麼，從而真正把A/B測試賦能到更多企業的業務增長過程中來，并以此為起點，幫助他們實現全局的數據智能。”郭東東表示。

用A/B測試驅動企業數字化決策的時代已經到來

随着人口紅利逐漸消退，各行各業面臨着不同程度的增長瓶頸，企業迫切需要由過去粗放式的運營模式，轉變到以客戶體驗至上的精細化運營模式。然而，很多号稱數字化的公司，其商業決策方式仍然沒有發生根本性轉變，其決策仍處于“黑箱模式”，大都憑借公司領導或部門負責人的經驗或個人能力做出判斷。

據數據猿了解，目前國内互聯網公司的商業判斷方法通常有三種：一是經驗判斷，本質就是靠決策者的經驗；二是非A/B測試的數據分析，可以使用數據做決策，但問題很難歸因，也不能在上線前得到預測；三是可以采用A/B測試進行事先判斷和事後歸因。

“與其說‘我有一個想法’，不如說‘我有一個新的假設，讓我們測試一下，看看它是否有效，問問我們如何快速地驗證它’，如果它不成立，就進入下一個問題。“微軟CEO薩提亞·納德拉（Satya Nadella）曾說道。這一段回答簡練地描述了微軟基于實驗 – 分析 - 決策的數據驅動文化。

通過A/B測試标題改動讓bing的收入增長了12%，來源：微軟

今天，不隻是微軟，包括 Google、Facebook、亞馬遜、字節跳動在内的全球各大公司都将A/B測試作為企業内部運營的重要支撐在推進。

為什麼今天那麼多知名公司都在進行A/B測試？一個重要的背景原因就是時代發生了變化，企業進入客戶至上的時代，在這個時代，企業要轉型為“洞察驅動型組織（Insight Driven Organization）”，實現數據驅動及科學決策已成為企業持續增長以及應對不确定性的關鍵。

作為“客戶時代”的概念提出者，全球最具影響力的獨立研究咨詢公司之一的Forrester 認為，在這個時代，企業通常面臨着來自客戶日益增長的期望與愈發激烈的市場競争，而優化客戶體驗（CX）對于赢得服務、留住客戶變得至關重要。這意味着，企業必須縮小數據、分析、洞察力與行動之間的差距，基于數據和洞察不斷優化和拓展與客戶的互動，并通過精細化運營，才能破解企業營收持續增長的密碼。

Forrester 的分析數據表明，94%的全球決策者認為，客戶需求及偏好相關的數據洞察對于提升企業營收極為關鍵。81%的企業認為通過數據深入了解客戶的需求，基于數據不斷改進和優化解決方案，可以提升競争優勢。

随着雲計算、大數據和人工智能為代表的現代信息技術迅猛發展，新興技術與垂直領域不斷深入融合，推動各行各業在體驗、運營、創新和生态四個領域圍繞客戶至上的核心理念不斷加速數字化轉型的進程，越來越接近由數據全面驅動企業的戰略與經營決策。

Forrester 的研究亦表明，洞察力驅動成熟度（Insights-driven maturity）與企業營收增長高度相關，具有較高成熟度的企業營收增長是落後者的5倍，其利用整個公司的洞察力來提高創新能力，增強競争力。全球領先的企業，通常具備以下三個方面的關鍵能力：

●深入的客戶互動數據洞察：領先企業更多地依靠高級分析、客服機器人和 A/B 測試來決定一個創新應該是什麼，而非依靠個人的經驗猜測；

●持續改進與創新：借助平台化的數據洞察工具，企業可以快速地将洞察轉化為不斷提升的客戶價值與體驗；

●集成式的産品發布管理：産品經理可以使用基于規則的系統來确定何時在生産中激活某些功能并選擇向哪些客戶發布這些功能，且在産品發布後無縫地實現客戶體驗升級。

具有較高成熟度的洞察力驅動企業，營收增長是落後者的5倍，來源：《火山引擎A/B測試總體經濟影響白皮書》

據此次發布的白皮書指出，以A/B 測試為核心的在線測試（online testing）是目前使用最成熟的數據智能技術之一，是優化和創新數字客戶體驗的關鍵。

為了呈現A/B 測試給企業帶來的幫助和實際價值，Forrester 還利用總體經濟影響（TEI）模型訪談了使用火山引擎A/B 測試産品的客戶。

來源：Forrester

結果表明，受訪企業實現了廣告業務及會員運營營收的增長， 改進了産品優化疊代的效率， 并顯著降低了産品發布帶來的客戶體驗下降、客戶流失方面的風險。Forrester 還從三個組織中收集數據并創建了虛拟的複合組織，經過整合财務分析，該組織三年共實現人民币520萬元的收益，扣除投入成本彙總後，最終獲得人民币290 萬元的淨現值（NPV）以及 126%的 ROI。

來源：Forrester

據悉，整體的訪談前後曆經四個月的時間，受訪企業不但通過A/B 測試獲得可觀的量化收益，他們也認知到A/B 測試不隻是産品UI的事，而是可以應用在研發運營、客戶服務以及營銷等領域。Forrester高級咨詢顧問谷豐指出，無論是從使用的深度方面還是廣度方面，A/B 測試都是企業支撐數據驅動增長、數據驅動運營模式轉型很有價值的工具。

A/B測試隻是企業轉型洞察業務模式的起點

在字節跳動内部，有這麼一句話：“A/B測試是一種信仰，風神（數據洞察平台）是一種習慣。” 2014年，當時還是初創公司的字節跳動上線了第一款數據産品Libra，這是字節跳動自研的A/B測試産品，意味着A/B測試在字節内部開始大規模應用。自此，數據驅動的理念完全地根植于字節跳動的基因中。

目前，基于字節跳動内部先進的底層算法、科學分流能力、智能統計引擎，火山引擎A/B測試已覆蓋推薦、廣告、搜索、UI、産品功能等業務場景，提供從實驗設計、實驗創建、指标計算和統計分析，到最終評估上線等貫穿整個實驗生命周期的服務。

火山引擎A/B 測試實驗列表：可以看到各測試的運行狀态，來源：火山引擎

郭東東指出，A/B測試雖然是重要的生産力工具，但轉型為洞察驅動型組織還需要搭配數據驅動更多的能力。為此，火山引擎基于字節跳動數據驅動的理念，為企業客戶提供了一套完整的數據中台，實現從單品數智到全局數智。

據了解，火山引擎的A/B測試工具與數據中台産品是深度打通和聯動的。比如 A/B測試産生的數據，可以直接在數據中台建數據倉庫。或者把數據倉庫裡建設好的數據與A/B測試做聯動，然後做指标分析。假設做A/B測試時發現指标顆粒度不夠，火山引擎數據中台是支持下鑽到數據倉庫中，進一步分析信息粒度的指标，或者通過BI 工具去分析。“這是上下遊深度協同的關系。”郭東東表示，隻有在複雜場景下協同起來，才可以更好地解決業務問題。

“一站式的服務還能降低企業的對接成本，并通過數據中台的能力，提供更為全面的服務，比如說數據治理。”

火山引擎數據産品全景圖，來源：火山引擎

數據猿了解到，與傳統建設數據驅動體系的理念不同，火山引擎數據中台是面向業務價值構建的數據驅動能力，從業務場景出發，根據企業實際應用來驅動中台能力建設，從上往下逐步落地數據驅動能力，為企業客戶構建敏捷的數智引擎。

文：陸易斯 / 數據猿

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!