數智化轉型背景下的火山引擎大數據技術揭秘
今年4月,火山引擎在上海舉辦了春季 FORCE 原動力大會,正式提出了“數據飛輪”的數字化建設模式。
現如今,越來越多的企業也正圍繞數據進行深度的價值挖掘,用數據全方位地驅動業務增長。如何讓數據“說話”,更好的幫助企業實現科學決策,并助力企業完成數字化轉型?
9 月 16 日,火山引擎開發者社區 Meetup 第 12 期暨超話數據專場邀請到了火山引擎數據平臺的 5 位專家,將從數據分析、數據治理、研發提效等角度,為大家帶來干貨分享,幫你全面了解數智化轉型背景下的火山引擎數據飛輪模式在數據資產建設上的技術與實踐。現場更有火山引擎定制抱枕、馬克杯、充電寶、筆記本等超多精美禮品,線下參與才可領取哦,期待與大家現場面基!
? 時間:2023/9/16(周六)14:00-17:30
?? 形式:線下+線上直播
?? 地點:深圳市南山區高新南九道深圳灣創新科技中心2棟B座F6-31&32(科苑地鐵站C口步行340米)
精彩議程
《DataSail CDC 數據整庫實時入倉入湖實踐》 李延加|火山引擎 DataSail 高級研發工程師
演講介紹:在線數據庫數據導入到數倉分析的鏈路已經存在多年,隨著近年來實時計算的發展,業務希望有延遲更低、運維更便捷、效率更高的 CDC 同步通道。本次分享主要介紹 DataSail 實現 CDC 整庫實時同步的技術方案和業務實踐。
主要內容:
- CDC 數據同步對業務的價值
- DataSail CDC 同步實現技術方案
- 業務最佳實
聽眾受益:
- 了解 DataSail 整庫實時同步背后的技術
- 了解 DataSail 整庫實時同步產品的能力
《火山引擎 EMR 基于 Proton 的存算分離實踐 》吳志平|火山引擎 EMR 研發工程師
演講介紹:基于對象存儲的存算分離架構,在提升系統穩定性,提高資源利用率,降低運維成本的同時,在大數據量分析場景下也面臨著一些核心挑戰:HDFS 與對象存儲之間的語義差異;存算分離之后帶來的較大性能損耗。
EMR團隊針對這些挑戰自研了 Proton 加速引擎,深度優化對象存儲讀寫能力,與Hive/Spark/Trino 等計算引擎集成后,在不改變用戶使用習慣的前提條件下,可提供對象存儲數據集的透明加速服務。在離線場景下,其性能基本持平存算一體架構。本次分享將介紹 Proton 技術能力和最佳實踐。
主要內容:
- 存算分離的挑戰以及解決方案
- Proton 介紹以及原理分析
- Proton 最佳實踐
聽眾受益:
- 了解對象存儲和 HDFS 的差異
- 了解 Proton 的基本能力以及實踐方式
《字節跳動基于 DataLeap 的 DataOps 實踐》黃虹|火山引擎 DataLeap 產品經理
演講介紹:隨著數字化轉型的推進以及業務數倉建設不斷完善,大數據開發體量及復雜性逐步上升,如何保證數據穩定、正確、持續產出成為數據開發者核心訴求,也成為平臺建設面臨的挑戰之一。本次分享主要介紹字節對于 DataOps 的理解 以及 DataOps 在內部業務如何落地實踐。
主要內容:
- 字節數據研發面臨的挑戰
- 字節 DataOps 定義
- DataOps 產品化方案
- 業務最佳實踐
聽眾受益:
- 了解 DataOps 理念
- 了解 DataOps 在字節業務的最佳實踐
《基于 ByteHouse 引擎的增強型數據導入技術實踐》孔柏林|火山引擎 ByteHouse 產品經理
演講介紹:ByteHouse 基于自研 HaMergeTree ,構建增強型物化 MySQL、HaKafka引擎,實現數據快速集成,加速業務數據分析性能與效率,本次 talk 主要介紹物化MySQL 與 HaKafka 數據導入方案和業務實踐。
主要內容:
- ByteHouse 數據庫架構演進
- 增強 HaKafka 引擎實現方案
- 增強 MaterializedMySQL 實現方案
- 案例實踐與未來展
聽眾受益:
- 了解 Bytehouse 基于引擎層數據導入能力
- MaterializedMySQL 和 HaKafka 在業務中的實踐
《湖倉一體加速引擎 Bolt 及在 LAS 的應用實踐》楊嘉義|火山引擎 LAS 資深技術專家
演講介紹:Spark、Presto 等引擎原Java執行的性能優化進入瓶頸期,而基于向量化和編譯優化的 native 引擎,可獲兩倍性能加速比,降低資源成本。Bolt 已經在字節跳動內部SparkSQL、Presto 大規模上線,加速效果顯著,其特色有:面向多場景統一加速、端到端向量化執行。本次分享將介紹 Bolt 的意義、架構和在 LAS 的應用實踐。
主要內容:
- Bolt 的背景和意義
- Bolt 的架構設計
- Bolt 的核心特色
- Bolt 在湖倉一體產品LAS的實
聽眾受益:
- 了解基于向量化和編譯優化的 Bolt 加速引擎
- 了解 Bolt 在湖倉一體產品 LAS 的應用
掃碼立即報名
掃碼進入活動群
點擊【閱讀原文】也可以報名哦~快喊上更多小伙伴一起現場打卡吧!期待與大家深圳面基!