新時代開源數據調度在1000+企業的進化之路
原創近年來,隨著互聯網的飛速發展,業務量在短時間內呈現爆發式增長,對應的數據量快速從數百 G 漲至數百 T。無論數據存儲還是數據調度,當前數據量已經遠超處理能力的上限。若信息處理技術仍漸進式發展,數據處理能力的提升將遠落后于指數級增長的數據量。
可想而知,提升數據處理能力、使任調度任務效率最大化、保持工具高可用是目前各企業的共同訴求,同時也是大數據發展所要面對的核心技術難點。
在這樣的背景下,大數據領域也涌現了很多優秀的開源項目。
其中大數據任務調度以 Apache DolphinScheduler 項目為代表:基于 Apache 開源社區理念打造的 Apache DolphinScheduler 是全球知名的 DataOps 領域開源項目,擁有超過350人的貢獻者群體。作為一個分布式去中心化,易擴展的可視化工作流任務調度平臺,Apache DolphinScheduler 已累計在 1000 多家公司生產環境中作為企業的核心調度系統,包括 IBM、騰訊、科大訊飛、美團、360、聯通、順豐等,覆蓋金融、電信、零售、云計算、數據處理等眾多領域。
自2021年4月9日從 ASF 孵化器畢業成為 Apache 頂級項目后,Apache DolphinScheduler 一直保持著強勁的發展勢頭。在數年的演進歷程中始終保持快速的版本更新與持續的架構迭代。且值得關注的是,Apache Dolphin Scheduler 已于近日迎來了其3.0.0-beta-1 版本的正式發布。
6月23日的【T·Talk】技術分享活動中,我們特別邀請到了白鯨開源聯合創始人、Apache DolphinScheduler PMC Chair 代立冬老師為大家分享 Apache DolphinScheduler 的進化之路。屆時,代立冬老師將詳細介紹 Apache DolphinScheduler 架構迭代中的經驗與教訓,并分享對云原生時代調度架構的思考與前瞻。
無論你是熱衷于鉆研開源技術的開發者,還是“大數據調度”的開源資深愛好者,都能從這些前沿的案例中獲得全新的靈感。
歡迎大家參與6月23日,晚上20:00【T·TALK】第12期技術分享活動
掃海報下方二維碼預約觀看
?
嘉賓介紹:
代立冬,白鯨開源聯合創始人、Apache DolphinScheduler PMC Chair、Apache Member、Apache SeaTunnel PPMC、Apache 孵化器導師、ApacheCon Asia Bigdata Track co-Chair(2021)、COSCon 大數據論壇出品人,組織過萬人的大數據技術社區。