移動云喜獲佳績!Pulsar Hackathon 2021競賽全球第四!
近日,移動云PaaS產品部王嘉凌,IaaS產品部張浩、王少杰、易新組隊開黑,參加Pulsar Hackathon黑客馬拉松競賽,獲得了全球第四名的好成績。
關于Apache Pulsar
作為 Apache 軟件基金會頂級項目,Apache Pulsar 正在快速成為熱門云原生技術之一,不斷加速各行業開發實時數據消息和流應用的進程。截至目前,Apache Pulsar 社區已擁有全球超過 400 名貢獻者、9K+ Star 、2.2K+ Fork。
關于Pulsar Hackathon競賽
本次Pulsar黑客馬拉松競賽是由StreamNative主辦,意在加速Apache Pulsar項目和社區的發展,為更多的愛好者提供參與項目,展示創造力的機會。參賽者需要在Pulsar功能增強、大數據生態系統集成和解決方案等方向上尋找創新點,并通過集中式在線編程完成原型開發。來自全球各地的130多名參賽者在5月6 -7日兩天時間內參與了競賽,共有11支團隊提交了項目成果演示。由多名Apache Pulsar PMC成員組成的黑客馬拉松組委會根據提交項目的創新性,可用性以及項目難度進行評分,并于6月16-17日舉行的Pulsar Summit北美峰會上現場宣布了成績和獲獎團隊。
從容不迫定課題 穩抓穩打定“三高”
代表移動云參加黑客馬拉松競賽的四人小隊在時間緊、任務重的情況下,自加壓力定位高目標、一著不讓追求高標準、精誠合作確保高質量,在兩天時間內完成了項目原型的開發和演示,向Pulsar黑客馬拉松提交了《Pulsar多租戶BookKeeper存儲隔離機制》的參賽課題,最終在和全球各路高手的巔峰PK中成功躋身前四。
數據分組隔離 全托管式Pulsar云服務
Apache Pulsar采用計算存儲分離的架構,利用BookKeeper來存儲消息數據,無需重平衡數據即可進行擴縮容。同時,Apache Pulsar原始支持多租戶,通過認證和授權機制實現了租戶之間的訪問隔離。基于Apache Pulsar的這些特性,移動云上線了消息隊列Pulsar,為移動云用戶提供全托管式的Pulsar云服務。在移動云Pulsar上云過程中使用共享的BookKeeper集群作為底層存儲層,存儲所有用戶的數據。由于所有用戶的數據在BookKeeper中落盤時會存儲在同一個不斷滾動的數據文件中,無法在文件層面區分每個用戶的存儲數據,導致難以對每個用戶的存儲數據分別進行統計和配額管理。并且當計算層已釋放部分用戶的存儲數據時,存儲層無法及時刪除BookKeeper中對應的數據文件來釋放磁盤存儲空間。
針對消息隊列Pulsar遇到的這些痛點,移動云消息中間件團隊通過對BookKeeper消息存儲機制的深入調研,提出了對數據進行分組隔離落盤的設想,作為本次黑客馬拉松競賽的參賽課題。通過在存儲數據的元數據中添加“資源組標識”的方式,讓不同用戶的數據分別存儲到不同的文件路徑上的文件中,實現了文件級的隔離,從而讓Pulsar在BookKeeper存儲層也具有了多租戶的特性。這個特性將會完善Pulsar的多租戶機制,使得對每個用戶的存儲數據進行統計和配額管理成為可能。
移動云消息中間件團隊后續將會持續完善該功能,并落實到消息隊列Pulsar產品中,實現對用戶數據更精確的管理和更安全可靠的隔離。
訪問官網https://ecloud.10086.cn/home/product-introduction/epulsar
查看更多移動云消息隊列Pulsar產品詳情