?背景

作為首次整體亮相并參與到集團大促備戰的京東國際，在業務上，有東南亞地區的本地電商“泰國、印尼”，也有新添在歐洲和國內開辟的業務“MCA、B2B”，還有銷售場在第三方平臺和主站平臺的“三方業務、主站售”。在大促期間如何統攬各條線的“流量、用戶、銷售”等數據信息，為業務提供實時的運營策略指導，就需要將各業務線的系統和運營數據情況匯總到一塊進行管理和規劃設計。那我們會遇到哪些問題和挑戰呢？接下來將從“國際業務特性、數據分布及人員情況、數據建設現狀、技術架構”這幾個維度給大家剖析。

國際業務特點

通過先前大促啟動會時的介紹，相信大家對國際業務特性有了一定的了解，國際業務的特點主要在于“多業態、多國家、多地區、多語言、多時區、多幣種”，除了這些特點外，還有針對不同地方的法律法規也各不相同，就決定了國際業務數據建設將面臨重重的挑戰。

數據分布和人員情況

本次參與大促備戰的6個業務線，分別部署在不同的機房，數據分布和數據計算資源也是分開的，例如：“印尼站數據和服務部署在雅加達、泰國站部署在香港（馬上要遷移到新加坡）、MCA部署在荷蘭阿姆斯特丹、B2B&主站售&三方業務部署在國內機房”。在數據加工、數據分析、數據服務方面，由于歷史原因（原各站點閉環研發）相關人員支持的情況也各不相同，有的是業務側的數據分析師、有的是研發團隊的數據研發、有的是臨時學習大數據相關知識后參與支持工作。

從數據計算資源、存儲、服務提供，再到人員支持現狀可以看出來國際數據平臺的建設，需要有一支專業的數據團隊去支持，同時需要建設國際業務數據中心，標準化數據指標的口徑和計算頻率、提供服務的方式。

數據現狀梳理及團隊建設

為了建設國際業務數據大促大屏，滿足各業務的看數需求，我們臨時成立了“618大促大屏項目組”對現有6個業務線的指標情況進行了全面的梳理，最終確定了3種大屏指標場景“流量、用戶、交易”，共計8個通用指標。

團隊方面，為了快速完善指標建設，組織成立了“虛擬數據研發”小組，由各團隊最懂業務、最懂數據的產品、數據、研發人員組成。

數據大屏系統架構和思路

目標：整合國際業務所有條線的數據，提供實時的數據，統一數據單位和顆粒度的數據，從6月1號開門紅至6月18號期間的“累計數據、天數據”展示8個通用指標的趨勢情況，落地國際618大促大屏看板。

數據源：各條線的指標建設梳理后，我們發現數據的加工、存儲和展示都有較大的差別，其中涉及“Clickhouse、Hadoop、Mysql、Elasticsearch”等，對于數據的實效性有的是T+1，有的是秒級，有的是分鐘級，有的是10分鐘級。對于貨幣單位，有泰銖、印尼盾、美元、人民幣等。

跨區整合：當前數據的分布和業務至少橫跨了4個時區，相較國內晚1-7個小時，對于這種情況下數據的聚合有兩種方案：

• 各條線根據接口規范通過Http的方式提供數據服務，由國內提供數據應用服務進行數據聚合，這樣的好處是對原業務線的數據加工影響較少，整體工作量低；
• 設計通用的數據表，按照領域區劃分，例如“商品、商家、訂單、營銷”等建設標準化數據表，由各條線的數據分析師進行數據加工后，通過調用通用的接口進行數據上報。

能力復用：大屏需要有考慮各個終端的適配，也要考慮大屏數據展示的樣式和布局，同時也要考慮數據加載的效率和穩定，因此本次對于大屏看板的前端，我們和零售中臺技術與數據中心-數據與智能部的產品同事，也就是負責京東集團作戰指揮室大屏的設計和研發團隊進行了溝通交流，基于JDV平臺豐富大屏看板資源和數據接入、編排的能力，可以快速為京東國際的大屏建設進行賦能。

虛擬數據演示

架構方案：

1、短期方案：

• 各站點集依托大數據平臺進行數據計算、存儲、分析和推數，使用到的技術棧為“Flink、Spark、JMQ、Mysql、Clickhouse”等。
• 構建國際業務數據聚合層，通過Http的方式走內網專線進行數據交互，通過聚合層對數據進行累計、貨幣單位、樣式進行加工轉化，同時為了提升性能將對實時數據進行緩存處理。
• 通過聚合層服務面向JDV大屏看板提供接口服務，JDV通過瀏覽器技術可以對數據進行本地緩存和加速。

2、長期方案：

• 建設國際統一的集市中心，將國際業務線涉及到的“用戶、交易、營銷、瀏覽、商品、庫存”等數據路由到全球各數據中心。
• 建立國際標準化數據建設規范，對數據字段的命名規范、數據存儲大小、存儲時間、分析時間、使用頻率都進行標準化，同時對于新業務要有完善的數據埋點表。
• 構建國際數據平臺，整合各場景下的數據，同時與外部數據進行協同，落地國際數據洞察為業務提供反向運營指導以及體驗提升。

總結

通過國際業務多源數據應用的實踐過程，我們可以看到，通過這套架構和思路，不僅支持拖拽可視化搭建大屏看板系統，同時還具備靈活且深度的組件共建、邏輯擴展能力，可以滿足不同業務的數據訴求。內置的權限、組件、數據交互方式減少了重復開發，對效能有明顯的提升幫助。對于國際業務數據建設而言，我們還有很多能力需要不斷的擴充，最終將會通過建成國際通用的數據平臺，以業務和客戶的需求為導向，持續深耕平臺的易用性、擴展性。