隨著十四五“數字中國”規劃的不斷深入，我國企業對數據治理和數據資產建設的廣闊需求依然亟待激活。不過，由于數據分析領域長期處于高速發展階段，加上國內參差不齊的供給現狀，“看不懂”、“跟不上”、“學不會”、“用不起”仍是大多數企業的真實感受。

從ELT、Data Fabric、Semantic Layer、DataOps，再到Lakehouse和流批一體，近幾年，全球數據分析領域的“熱詞”層出不窮、令人目不暇接。行業發展脈絡存在共性，細究其中，可以提煉出三大主題：統一的基礎設施、統一的中間層、統一的數據資產。

瓴羊「數據薈」數據Meet Up 第3站線上開講，來自中國信通院、瓴羊與企業大數據團隊的多位技術專家齊聚一堂，共話大模型時代的數據治理創新實踐。阿里云智能集團瓴羊高級技術專家江嵐以Dataphin為例，從多引擎兼容、混合云架構、統一資產消費的應對策略，分享了“開放、兼容的數據建設與治理平臺”的技術架構與實踐路徑。

作為阿里巴巴全資子公司瓴羊的代表產品，Dataphin長期專注于數據治理環節，通過運用阿里巴巴“OneData”方法論，持續打造統一的數據基建、高質量的數據資產。近日，瓴羊Dataphin宣布全新功能升級，推出Dataphin敏捷版、半托管及DataAgent智能體，以更普惠、可擴展性和開放性的架構更新，為廣大企業“建好數據”、“用好數據”打好基礎。分析人士認為，瓴羊Dataphin的本輪升級，是其一次意義重大的變化，反映了能力架構、底層技術的全面演進。

一、從混合云架構到安全管控，企業數據治理面臨哪些挑戰？

瓴羊，脫胎于阿里巴巴這座“超級工廠”的數字化實踐，旨在將內部經驗系統化、產品化地向千行百業進行輸出。作為瓴羊旗下的智能數據建設與治理工具，Dataphin能夠提供一站式的采、建、管、用的大數據能力，涵蓋企業數據資產的建設、治理、消費等不同環節。自2018年上線以來，瓴羊Dataphin已服務了百余家客戶，覆蓋了餐飲、通信、乳品、汽車等多個行業。

以往，用戶在使用Dataphin時，首要任務是配置集成管道，將業務庫數據同步至數據庫，并通過代碼研發、規范建模等多種方式對數據進行加工處理。加工后的數據或通過集成管道任務回流至用戶生產庫，或通過配置數據服務API供下游系統使用。    

在服務合作伙伴的過程中，瓴羊Dataphin發現，由于部署環境、引擎類型、治理目標等方面的差異，企業數據治理的需求變得越發精細和復雜，給平臺既有的功能提出了諸多挑戰。

一方面，許多企業迫切需要打通整個數據生產消費鏈路，不只限于傳統的數據倉庫環節，而是實現全域的數據資產治理。另一方面，不少企業的數據資產不再處于單一云環境，而是既涉及公共云、也涉及線下IDC機房，因而需要支持混合云架構的數據治理工具。同時，不少企業開展信創工作，眾多國產化的引擎確實給兼容適配帶來了不小的挑戰。

因此，本輪產品升級的背后，是瓴羊Dataphin圍繞數據治理的一線場景需求，通過持續的研發投入和自我迭代，實現了“多引擎適配”、“混合云統一調度”、“統一消費出口”三個層面的全新升級，從而與諸多企業伙伴共同進步，更好順應“統一基建”、“全域治理”的行業發展趨勢。

二、從多引擎兼容到統一資產消費，Dataphin的成果與經驗

企業所使用的引擎各不相同，如果沒有一個設計良好的多引擎中間件，就有可能帶來重復的引擎對接成本，乃至潛在的類沖突和處理邏輯不一致的風險。如何適配數據庫產業生態現存的眾多引擎，是擺在瓴羊Dataphin面前的第一項難題。

目前，多引擎適配模式存在富客戶端、輕客戶端兩種模式。富客戶端直接對接引擎，網絡開銷少，且無單點瓶頸的風險；輕客戶端壓力小，無類沖突風險，且服務端可實現統一版本管理。    

瓴羊Dataphin結合富/輕客戶端兩者優勢，通過“多引擎SDK+插件”的模式，提煉出了SQL、File、Schema三大API接口，每種插件相互獨立的同時，還增設了類隔離的機制，確保多引擎的處理邏輯對業務代碼沒有侵入，最終通過JAR包的合并，有效減少了部署資源。截至目前，瓴羊Dataphin不僅支持公共云多租戶、獨立部署、私有云部署等環境，還實現了對MaxCompute、EMR、CDH等十余種主流大數據計算引擎的適配，通過插件化模式，也降低了后續新引擎的兼容成本。

混合云架構方面的挑戰則更加復雜：有的企業出于信息安全性考慮，部分業務只能存于線下IDC機房，同時擁有公共云和私有云環境，導致管理和運維的難度大大增加。

為此，瓴羊Dataphin采用了外部調度集群技術可以同時管理多個Kubernetes集群的資源，由調度模塊負責在指定的集群上拉取任務配置并調起任務。這一設計使得平臺能夠高效地在混合云環境中調度和執行數據任務，有效避免跨網絡的訪問限制，并大大提升集成性能。

具體而言，在數據集成場景，瓴羊Dataphin實現了一套集群對多個云環境的調度，僅任務調度需要跨網絡，而數據本身無需經過專線網絡傳輸，降低了跨網絡傳輸的成本和復雜性。而在資產采集場景，平臺通過配置元數據采集任務，手動或周期性地運行采集任務，將采集到的資產元數據寫入存儲，以供后續的數據消費鏈路使用。此外，瓴羊Dataphin通過于外部集群中拉起的數據服務常駐容器，確保了數據服務場景的靈活性、安全性和隱私性。    

在數據資產消費時，企業常常面臨著資產分散、權限管理不一致、使用鏈路長等問題。為了實現統一的資產消費，瓴羊Dataphin提供了標準的JDBC接口，通過多引擎插件對接底層數據庫，打造了唯一的消費出口，實現了對底層數據的統一訪問。

更值得注意的是，Dataphin還實現了瓴羊旗下BI工具——QuickBI的無縫對接，資產消費可以自動創建QuickBI的數據源以及數據集，并且減少用戶查看數據的操作成本。

目前，Dataphin提供了豐富的資產消費方式，不論是自助取數、數據探查還是接口調用，企業無需復雜處理鏈路，即可輕松實現數據分析和可視化展示。

三、從全域資產運營到AI+，數據資產運營將去向何方？

在企業數字化浪潮中，有越來越多企業通過瓴羊Dataphin，實現了數據資產的采、建、管、用，在數據洞察力提升的同時，也挖掘出了隱藏在資產之中的價值。

相較以前，如今的瓴羊Dataphin功能架構得到了多重升級，不僅引擎兼容性增強，支持多種類型的數據源，還豐富了資產消費的形式，此外，瓴羊Dataphin還新增支持了混合云的部署模式和公共云半托管模式，能讓企業以最小的成本實現復雜網絡環境下的部署，由此，平臺的覆蓋范圍不再局限于數據倉庫，而是朝著實現全域資產運營的目標邁進。

在未來，瓴羊Dataphin將持續深化采、建、管、用的一體化平臺定位，沿著數據資產建設-治理-消費的路徑不斷完善。在建設方面，平臺將對接更多種類的引擎、支持更大規模的統一調度和運維，還將上線拖拽式標簽工廠等；在治理方面，平臺將打造統一的元數據中心，讓企業的數據資產“標準可循、質量可靠、安全可控、成本經濟”；在消費方面，瓴羊Dataphin已經推出資產目錄管理、資產搜索及查看等運營功能，未來還將上線資產門戶、質量報告等。

隨著大模型時代到來，瓴羊Dataphin也將積極擁抱AI技術，探索“數智結合”的資產運營手段。比如，在智能問數的幫助下，用戶無需技術背景即可問詢需要的數據，極大地降低了數據分析的門檻；通過智能特征識別、智能分類分級等手段，提高資產質量和生產效率。    

在產業、政策、技術等多種因素的影響下，我國的數據治理領域仍然方興未艾，如何在高速變化的外部環境下，為不同企業提供個性、易用、專業、安全的治理體驗，仍然是橫亙在產業各方面前的重要課題。未來，依托阿里巴巴數字化轉型經驗，瓴羊Dataphin有望以持續的迭代和演進，為企業打造全生命周期的數據資產解決方案，幫助千行百業“建好數據”、“用好數據”。