程顯峰:實時數據中的各種變化
原創2013年4月26日-27日,由51CTO傳媒集團旗下WOT(World Of Tech)品牌主辦的2013大數據全球技術峰會在北京富力萬麗酒店召開。本次峰會將圍繞大數據基礎架構與上層應用的生態系統,解決大規模數據引發的問題,探索大數據基礎的解決方案,激發數據挖掘帶來的競爭力,讓數據發出聲音。51CTO作為本次峰會的主辦方,將全程視頻、圖文直播報道這場數據的盛宴,更多內容請點擊專題:2013大數據全球技術峰會。
說到實時數據,***想到的就是股市,數據是有時效性的,也是有半衰期的,隨著大數據的到來,數據的時效性越來越短,上一秒的數據也許下一秒就已經作廢了。
實時數據的特性之一就是要求非常低的延遲,并且高可用,馬力足,例如在淘寶雙十一的時候,那時大量數據被引用,所以更需要我們的"馬力夠足"。
全面評價實時系統是什么呢?***就是自動化的要求,第二則是運營維護的成本要足夠的低,我們以前總是考慮前期投入,而不考慮后期維護,而實時系統的后期維護成本要遠遠大于你的前期投入。其次是沒有廢棄的系統。
如何細化指標
從管理學的角度來說,若是指標不能夠度量,那么是不可以實施的。我們從時間的角度來說,時間是容易理解的,沒有人會質疑一秒鐘它的含義,時間是容易測量的,并且時間是沒有歧義的。若是用時間來衡量,那么時間究竟浪費在哪里呢?
時間是浪費在寫代碼上嗎?其實并非如此,大部分時間其實都是在處理上線部署,上線這一步驟非常復雜,我們不知道哪一部分會出現問題,很多人在上線前還會寫上線計劃,這就浪費了好幾天,上線過程又需好幾天。調試bug,我們要處理很多未知的bug。還有一部分就是浪費在溝通協調上,因為60%的程序人員都把時間浪費在開會上。
那么關鍵衡量指標是什么樣的呢?若是用時間的維度去衡量,那么你要在意你回滾的時間是多久了,其次就是定位bug的時間,隔離系統的時間,有些人定位了bug后但是無法預估隔離系統的時間。
技術能帶來哪些改進
監控和性能分析;自動化;基礎設施;調試困難;DevOps。但是與此同時技術所帶來負面影響。有句格言是這么說的move fast and break things,可以說成你若是想用新技術,你就要面臨新技術帶來的挑戰,并且新的技術你會拋棄很多很多你認為對的東西,也可以說是你的習慣。然而我們決策大部分不是依賴于思考而是習慣,對于開發者他有他的代碼風格,上線操作風格,調試手法等。
所以我們需要一個組織的習慣,對于一個組織來講是要有基礎的協作規范的,要泯滅個性的,并且強調細節上的一致(這就好比飯桌上的旋轉玻璃)。所以這時就需要我們開始轉型,這時會出現各種的不適應,所以需要配合和練習,雖然這一過程是非常非常的漫長和耗力。
以上是51CTO.com記者從一線為您帶來的精彩報道。后續我們還有更加精彩的獨家報道,敬請關注。