2013數據庫技術大會:大數據正當時
NoSQL的春天
時光回溯2010年數據庫技術大會,在這屆大會上51CTO編輯彭凡對Oracle知名專家蓋國強老師進行專訪時談到了NoSQL。當時大家還覺得NoSQL正在興起,還屬于Web和數據庫的前端技術。3年時間過去了,當年還在襁褓中的NoSQL數據庫已經遍地開花,在本次數據庫技術大會上關于NoSQL方面的分享占據了較大的篇幅。
會場座無虛席
當NoSQL在非結構化數據方面的特殊能力被捆綁在大數據戰(zhàn)車上之后。大家一談到大數據必然會將NoSQL帶入到討論中。HBase、Cassandra等等都成為大數據的得力工具。經過這幾年的飛速發(fā)展,NoSQL已經逐漸落地成為數據庫市場的強勁力量。即使Oracle等傳統(tǒng)數據庫廠商,也會在MySQL 5.6等新版本數據庫中增強對NoSQL的支持。
大數據模型與處理能力
從一開始,大數據就需要優(yōu)秀的模型來實現(xiàn)復雜的分析和預測模型,產生針對目標業(yè)務的輸出。傳統(tǒng)的數據庫對于數據挖掘和分析做的還是不夠好,對于大數據的處理能力低下。
人人網陳繼東
來自人人網的陳繼東講師表示,未來大數據作更深入的分析,數據清洗ETL的開銷會很大。需要并行數據挖掘和機器學習的能力,大數據不再是模型的競爭,而是計算能力的競爭。能不能在更短時間內清洗和處理完呈幾何爆炸式增長的數據,是各位DBA或者CTO首先考慮的問題。
傳統(tǒng)數據庫的發(fā)展和升級之路
當Oracle 11g已經推出若干年之后,還有不少用戶的數據運行在Oracle 10g之上。來自上海新炬網絡技術有限公司的技術總監(jiān)楊志洪就為大家分享了如何從Oracle 10g R2遷移到11g的案例。在Oracle 12c都呼之欲出的今天,用戶處于數據安全和穩(wěn)定性的考慮,并不急于升級。只有出現(xiàn)如下情況時,升級才顯得那么的逼不得已。
1.Oracle已經通知用戶,對于Oracle 10g將在2013年7月停止新補丁的發(fā)行,并從此不再保證7X24的第一級支持。
2.運維系統(tǒng)遇到多處全球首次發(fā)現(xiàn)的Bug,DBA處理難度提升。
3.核心數據庫已經安裝幾十兆甚至上百兆的Patch,系統(tǒng)繼續(xù)維持的成本上升。
下面是楊志洪老師分享的第一個案例場景,用戶已經將操作系統(tǒng)和硬件都進行了變更。
第二種場景是保留操作系統(tǒng),升級和更改硬件的模式。
在升級到11g之后,我們還需要在從SQL優(yōu)化集創(chuàng)建SQL計劃基準,在生產庫中記錄完整的生產庫的負載,包括實際負載,時間和并發(fā)情況。在測試環(huán)境中完全按照生產庫的負載情況進行充放,嚴格的事務提交順序等等。
總結
大數據在目前是一個炙手可熱的名詞,它已經在社交媒體,網絡游戲,電子商務等領域落地。電子商務網站用大數據分析用戶的購買行為,為他們推薦合適的促銷產品。網絡游戲廠商通過大數據處理用戶留存率,道具購買率等數據,從而確保公司的整體盈利效果。社交媒體則走的更遠,已經有美國政治分析家透過Facebook和推特分析美國選民的投票傾向和廣告投放策略。大數據讓本來看似雜亂無章的世界,變得有跡可循。