看DTCC2015:阿里、360、京東 NoSQL實踐
【IT168 評論】一年一度的數據庫和大數據領域技術盛宴——2015中國數據庫技術大會(簡稱 DTCC 2015)將于4月16日至4月18日在北京新云南皇冠假日酒店隆重召開。***消息,大會NoSQL專場演講嘉賓已經全部確認完畢,嘉賓議題已經發布。
“大數據技術交流和價值發現”是大會的核心主題,DTCC 2015大會規模將達到2500人,分3天21個專場,近百場精彩演講,大會將云集了國內外最***的數據專家,共同探討MySQL、NoSQL、Oracle、緩存技術、閃存技術、國產數據庫、Hadoop、數據挖掘、推薦系統、機器學習等領域的前瞻性熱點技術。
日前由IT168編譯并發布的(2014年12月世界數據庫流行度排行榜)中我們可以看到,排行榜前十名中,NoSQL數據庫已經占了三席,分別是MongoDB、Cassandra和Redis。這說明NoSQL正在變得越來越流行。對傳統的關系型數據庫巨頭而言,單純靠SQL數據庫,在面對超大型Web應用上顯然捉襟見肘了。
天貓雙十一對阿里搜索事業部來說,就是一場高強度的數字化戰爭。早在2010年,Hadoop/HBase技術就被引入到里的搜索體系中,用于存儲相關的網頁、價格和圖片信息等。不光如此,連小米、奇虎360也都在使用HBase,HBase究竟有哪些神奇之處?
京東每天的庫房記錄在十億個數量級,商品圖片總共有幾十億張。這些文件基本上都是KB 級別的,關系型數據庫不太擅長處理這些海量小文件。京東最早使用的內存鍵值存儲是Redis,而現在轉而使用了JimDB,您覺得為何會有這么大的轉變?JimDB與Redis又能否兼容?
和京東一樣,360也在嘗試自主研發NoSQL,360為何要自主研發?如何選擇從開源軟件過渡到自主研發的時機?在設計時,360參考中心化和去中心架構的特點,根據自身業務場景進行了融合,從延遲、一致性、集群伸縮方面做了權衡;面對新的混合架構,360遇到了一些***的挑戰,又是如何一一解決和優化的?
想真正了解京東和阿里的NoSQL數據庫嗎?想了解360自主研發過程與挑戰嗎?想了數據庫存儲引擎技術發展趨勢嗎? 2015第六屆中國數據庫技術大會(DTCC)上,來自京東高級架構師袁航即將為大家發表主題為《京東內存存儲技術演進》的精彩演講,同時,一淘及搜索事業部離線系統團隊搜索研發專家雨田將為大家講述《HBase在阿里搜索的應用與擴展》,360高級技術專家王超會為大家分享《Bada-構建主從/去中心混合架構的NoSQL》,而華為企業中間件***架構師彭淵也會給我們分享《高性能原創數據庫引擎Coolhash》。
歡迎大家報名參會!大會官網鏈接:http://dtcc.it168.com/
附NOSQL專場演講嘉賓與主題:
華為企業中間件***架構師 彭淵
演講主題:高性能原創數據庫引擎Coolhash分享
內容簡介:Coolhash是一個java實現的k/v數據庫引擎,采用并行計算引擎設計,單server能達到百萬吞吐量tps,同時改進了傳統hash算法,能夠支持千萬規模數據的秒級范圍查詢和任意模糊查詢,Coolhash實現高性能的同時提供的是持久化存儲,可以超出內存大小限制,同時Coolhash的key指針提供1對1,1對多,多對多的關聯join查詢的新思路,Coolhash是一個nosql數據庫,但是提供了大部分sql的函數功能,還包括簡單的事務處理(ACID)。CoolHash整體只有200k大小,不到1萬行java代碼,沒有任何依賴,高度產品化和易用性強,采用apache2.0開源協議,同時支持windows和linux(unix-like),非常適合您做新型數據引擎技術的研究參考和應用。
本課題會分享數據庫存儲引擎技術的業界發展趨勢,從裸設備存儲到SSD結合內存、從緩存到持久化存儲的靠近,從aerospike到Couchbase的分析,Coolhash的樹型key設計思想和架構,Coolhash跟redis、leveldb的詳細比較,應用場景和技術探討等。
一淘及搜索事業部離線系統團隊搜索研發專家 徐斌(花名雨田)
演講主題:HBase在阿里搜索的應用與擴展
內容簡介:阿里集團搜索系統后臺的Hadoop/HBase混合集群已經達到1000+的規模,計算+存儲一體化的解決方案支撐了淘寶、天貓、B2B、Etao、云搜索等阿里全部搜索業務線。本次主題除了介紹HBase在阿里搜索技術領域的應用、優化和運維經驗以外,還將介紹我們基于HBase自主研發的HQueue(消息隊列)和HTunnel(HBase增量訂閱服務),以及基于它們的實時計算解決方案。
京東高級架構師袁航
演講主題:深入解讀JIMDB—京東分布式緩存與高速NoSQL服務
內容介紹:主要涉及Jimdb從無到有, 從1.0得到3.0, 基于規模驅動和痛點驅動的研發歷程; 包含:監控和報警, 故障檢測和自動切換, 遷移和擴容, 基于內存和磁盤的2級存儲 , 基于ssd的新一代NoSQL數據庫等各方面的內容.
360高級技術專家 王超
演講主題:Bada-構建主從/去中心混合架構的NoSQL
內容目錄:在分布式NoSQL遍地開花的今天,我們為何要自主研發?如何選擇從開源軟件過渡到自主研發的時機?在設計時,我們參考中心化和去中心架構的特點,根據自身業務場景進行了融合,從延遲、一致性、集群伸縮方面做了權衡;面對新的混合架構,我們遇到了一些***的挑戰,又是如何一一解決和優化的?歷經三個月的研發,一年多的線上改進,成功解決了當時面對的問題且得到了廣泛認可,架構的優劣和可借鑒性由各位思考