火山引擎正式發布大數據研發治理套件
在數字化程度日益加深的今天,數據對企業增長的作用越來越重要。隨著十九屆四中全會正式把數據列為國家新興基礎性戰略資源和生產要素,如何使用并發揮數據的價值,是當下企業所面臨的主要問題。
然而企業的數字化轉型并非一蹴而就,需要在組織、業務流程和技術等方面持續投入。調研發現,企業的數字化轉型往往面臨著以下幾個問題:
- 業務數據孤立:各業務團隊獨立,數據孤島現象普遍存在,數據難以互通;
- 數據重復存儲:數據不集中,系統之間重復存儲,重復計算;
- 數據質量差:數據質量參差不齊,延遲、口徑等問題導致業務使用數據有風險;
- 資產管理難:各類數據和接口缺少統一管理,難以真正發揮數據價值;
- 安全無保障:數據安全有風險,安全事故頻繁出現,且問題根源難以追溯。
由于業務規模快速增長,再加上場景多、結構復雜,字節跳動在發展過程中也面臨過相似的挑戰:
- 規模大:字節跳動業務場景極其豐富,數據量巨大;
- 重依賴:產品閉環,線上服務及業務創新,都對數據有較強的依賴;
- 影響大:核心業務數據延遲,質量問題將直接影響業務表現及發展。
從2016年開始,字節跳動開始孵化大數據研發治理套件,結合自身業務特性,從數據提取、加工、管理等方面作為突破口,逐漸形成了數據集成、數據開發、數據治理和數據資產四大產品體系,并且形成了一套自己獨有的方法論,幫助產品解決在數據增長過程中遇到的困難和瓶頸。
經過內部不斷的打磨、驗證,字節跳動旗下數字服務與智能科技品牌火山引擎正式對外發布大數據研發治理套件,為企業數字化轉型添磚加瓦。
火山引擎大數據研發治理套件產品架構圖
在產品能力上,火山引擎大數據研發治理套件擁有以下幾點優勢:
1. 整合全域數據,支持20余種異構數據源的豐富傳輸方式,靈活對接各類業務系統,實現數據在復雜網絡下穩定、高效的互聯互通和信息共享;
2. 沉淀數據規范,統一數據標準及數據查詢出口,沉淀數倉建設規范的最佳實踐,降低使用門檻,提高全鏈路研發體驗,快速精準為業務賦能;
3. 全鏈路綜合治理,結合基線監控、數據質量、SLA治理、成本管理等能力,提供事前預警、事中處理、事后推薦優化的全生命周期的數據治理能力;
4. 提升數據可靠性,權限最小化原則保障數據安全,構建真正意義上的數據安全屏障。字段級別的血緣管理,幫助企業用戶提供從數據發現到數據理解到數據到資產管理的一站式大數據服務。
相較于其他企業,字節跳動成立時間短,業務發展快,組織架構自下而上進行,這對數據治理工作有著非常大的挑戰。在中臺領域中,數據治理又是一個工序復雜,周期長、見效慢的過程,單靠工具無法徹底解決數據治理遇到的問題,需要企業領導層推動:根據業務情況,結合產品能力進行落地,并加以監管。
“在此情況下,字節跳動根據自身特點,從人員配置、團隊結構、數據管理等方面入手,遵從去中心化原則,徹底貫徹中臺化建設,以小管大,創立分布式管理和分布式自治,以人為單位,為數據結果負責,將數據真正利用起來。”火山引擎相關負責人表示,火山引擎的大數據研發治理套件也很好地繼承了“為數據結果負責的”特性,打造了一個完整的數據治理閉環鏈路,真正發揮企業的數據價值。
對于未來,火山引擎還將結合自身實踐及市場情況,在數據治理、資產等方面,不斷補充、完善自身產品建設及經驗,為企業提供更貼切的服務,助力企業實現業務的快速增長。