作者：算法&健兮，阿裡巴巴數據技術及産品部技術專家

生意參謀是阿裡官方打造的全渠道、全鍊路、一站式數據平台，緻力于為用戶提供經營分析、市場洞察、客群洞察等多樣化數據服務，幫助用戶全面提升商業決策效率。自2011年誕生以來，生意參謀服務過的用戶已逾3000萬，覆蓋了線上線下零售商（淘寶天貓）、品牌商（零售通）、智慧門店、内貿批發商（1688）、内容創作者（微淘等）、東南亞國際商家（LAZADA）等多個業态商業用戶。目前，淘寶天貓商家中，月有交易的商家，99%以上都在使用生意參謀。

生意參謀經過将近十年的發展，已經支撐了99%淘寶天貓商家的決策運營，在如此龐大的商家群體下，每個商家對于數據的訴求都不一樣。

• 對于中大型商家，有自己的數據分析師團隊，更希望自己對原始數據進行加工與展示• 對于中小型商家希望可以提供更加方便的一鍵式服務• 對于一些品牌商，希望看到長達數年的曆史數據分析

多種多樣的分析需求對生意參謀的架構提出了巨大的挑戰，借助于雲原生數據倉庫AnalyticDB MySQL的強大能力，生意參謀與QuickBI團隊強強聯合，打造了“商家自助分析”産品，幫助商家定制自己的數據報表，滿足商家對自身各維度數據進行随心所欲的分析需求，幫助千萬商家實現“數據價值在線化”。

1）海量數據高并發複雜查詢

生意參謀服務幾百萬商家，數據量是非常龐大的，如果存儲3年數據，僅一個商品維度數據表，就能到千億條記錄。但是我們要滿足商家對這些數據表，進行任意維度的數據查詢、篩選、關聯、聚合、計算、排序等操作，并且要求毫秒級返回。例雙十一期間我們的複雜查詢QPS超過300，在這種高并發低延時場景下對數據庫帶來巨大的挑戰。

2）在線查詢和批處理混合負載

為了降低成本，生意參謀“商家自助分析”産品不能将所有的商家數據全部寫入分析庫，需要對訂購的商家需要在商家當天回補所有的曆史數據，要求單商家6000W數據分鐘級完成商家曆史數據回補。在數據回補時，高并發查詢與寫入要求同時運行，相互不影響，對分析庫的混合負載要求很高。

3）任意維度的靈活報表能力

生意參謀“商家自助分析”産品的根本需求是滿足商家各式各樣的分析需求，需要為商家可以提供靈活配置報表的能力，這時候一個成熟的BI解決方案必不可少。

4）商家數據安全性要求高

商家對于自身的數據安全要求非常高，生意參謀“商家自助分析”産品既要讓商家能夠随心所欲的進行數據分析，又要避免數據的洩露，也要防止數據被爬取、防止水平越權洩露。

生意參謀選擇了 AnalyticDB（以下簡稱ADB） QuickBI 一整套成熟的BI解決方案。

QuickBI介紹

Quick BI是阿裡雲成熟的自助分析報表平台，是國内首個且唯一入選Gartner魔力象限的BI産品。産品經過幾年的沉澱已無縫對接各類雲上數據庫和自建數據庫，0代碼鼠标拖拽式操作，讓業務用戶也能一鍵輕松實現海量數據可視化分析。并且QuickBI提供彈内部署能力，可以通過生意參謀為入口，對商家提供統一的服務。讓商家在産品心智上感受到，一個數據分析平台，沒有考慮系統間切換的問題。真正實現一個平台，滿足用戶數據分析需求。

AnalyticDB雲原生數據倉庫

AnalyticDB是阿裡雲自研的雲原生數倉庫，全面兼容MySQL語法，為分析而生，擁有出色的分析性能。

1）MySQL兼容，好用是數據庫價值真正的體現，AnalyticDB高度兼容MySQL，基本無需修改代碼即可像使用MySQL一樣使用AnalyticDB，遷移使用成本極低。對于MySQL社區周邊工具也可以無縫接入，因此和QuickBI的配合就像使用MySQL一樣簡單。

2）高性能高并發，AnalyticDB為分析而生，擁有業界最快的查詢性能，通過行列混存、自适應索引，結合向量化的分布式執行引擎實現大部分查詢複雜可以在毫秒級完成；同時通過在線化的調度和雲原生的彈性擴展能力，可以支持大量商家的在線并發訪問。

3）混合負載，在存儲計算分離的架構下，AnalyticDB可以混合計算負載能力，在經典的在線（online）/交互式（interactive）查詢執行模式之外，也支持了離線/批處理(batch)查詢執行模式。因此針對在大量商家高并發在線查詢的同時，同時可以進行并發的數據寫入、加載和回補，實現業務一套系統的混合負載處理。

4）安全可靠，AnalyticDB基于雲原生的VPC網絡構建，同時對數據有庫、表、列等多級權限保護，同時還支持通過内容數據的加解密，可以滿足商家數據的安全性要求。

總結下，AnalyticDB可以從任意維度進行查詢、篩選、聚合、計算、排序等操作，性能支持亞秒返回，并且支持實時寫入，支持大型ETL與高并發查詢混合負載等特性非常契合商家自助分析業務。并且，QuickBI 完美支持AnalyticDB作為數據源頭，與商家自助分析業務完美契合。

生意參謀自助服務的本質是一套安全可靠，穩定靈活的BI方案。在底層，生意參謀将訂購商家數據存放在AnalyticDB中，依托于AnalyticDB QuickBI的生态，建立商家項目空間，同時打通生意參謀與QuickBI權限體系，支撐起商家自助分析需求。

數據同步

生意參謀自助分析，借助AnalyticDB支持高吞吐實時寫入的特性，通過訂購當天回補曆史數據的方式， 解決了客戶對于長周期數據的分析訴求。對于新訂閱用戶，需要将曆史數據按天級别增量同步至AnalyticDB中，這個是系統設計的一個難點。借助AnalyticDB實時數據寫入的能力，我們設計了自助分析-數據增量同步方案，有效解決了曆史數據的增量同步。

業務價值

所有自助分析自定義配置的報表，都可以選擇配置到生意參謀首頁，這樣商家的所有子賬号，都能在生意參謀首頁看到，真正達到了用戶定制生意參謀頁面能力的效果。其中我們通過店鋪經營分析，店鋪流量分析，單品深度洞察報告等BI模闆，吸引了大量商家自助配置自己的BI報表。

未來我們希望可以繼續在數據價值上的探索，希望持續與AnalyticDB QuickBI保持共建，推動數據價值在線化，讓商家數據分析更加簡單高效。

業務資源隔離

在 AnalyticDB MySQL版新推出的彈性形态下實現了資源組功能，通過新建資源組可以從現有實例劃分出部分計算節點，這些計算節點資源隻歸屬該資源組。用戶可将數據庫賬号綁定到不同的資源組，SQL查詢時根據綁定關系自動路由至對應的資源組執行，滿足用戶實現内部多租戶隔離需求。我們對于不同的大商家，可以進行隔離，确保大商家業務的穩定性，提供更好的業務體驗。

查詢負載管理

在自助BI的系統中一直存在一個痛點，單個用戶配置了不合理的報表，讀取超大量的數據，進行超出預期的計算，影響其他商家的報表展示，為此我們在系統中需要做諸多限制，比如用戶報表隻能基于單表，不可以做多表聯合分析，這樣大大限制了商家報表的靈活性。為此我們期望AnalyticDB提負載管理的能力，通過我們指定查詢資源消耗，讀取數據消耗等維度限制，來對查詢進行 KILL，切換資源組等行為，保障數據庫穩定性。

智能化診斷

需要做好監控和邊界問題的發現機制，在出現問題時能夠快速定位。期望能夠充分利用AnalyticDB的監控能力，在出現問題前第一時間預警，規避問題的發生。為此，AnalyticDB将提供全方位、多維度以及準實時的實例運行狀況洞察能力，通過對實例内部的各類運行日志和時序指标進行算法建模，提供出問題前準确預測、出問題時及時告警、處理問題時精準定位的能力，确保不影響用戶上層業務。

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!