詳談軟件定義存儲如何約會區塊鏈?
互聯網解決了信息隨時分享,移動互聯網解決了信息隨地分享,物聯網解決了信息隨物分享,而構建在三者基礎之上的區塊鏈解決了數字價值的隨時隨地隨物地轉移。
天下大勢,合久必分,分久必合
1943年,IBM的托馬斯曾經說過: “我認為也許5臺計算機就能滿足全世界的需要”。進入21世紀第2個十年,有人說,“也許5朵云就能滿足全世界的需要”。這里5朵云,分別指的是AWS、Azure、Google、阿里云、IBM。華為在2017年成立了云BU,也計劃打造成為全球五朵云之一。
真的是這樣的嗎? 雖然我們確實看到公有云的市場份額在現階段不斷地攀升。但是,也看到它帶來的一些問題,包括安全、成本、性能、效率等方面。
安全
當我們享受這些互聯網巨頭給我們帶來的便利的時候,不知不覺中,我們也會驚訝地發現,我們的隱私很有可能遭到泄漏。以文章《臉書、谷歌到底能獲取多少用戶信息?真相讓很多人嚇尿了》為例,這些互聯網巨頭可以輕而易舉地獲取你個人的如下信息:
你在哪兒、你搜了什么、你看了什么視頻、你用什么APP、你的照片、你的云盤、你的日歷、你發的郵件,你的步數,你聽的音樂、你聊什么、你發過什么…
正因如此,互聯網巨頭才能為你進行用戶畫像,給出能夠比較精確匹配的商品推薦,并基于大量的個體信息,進行大數據分析,甚至在你不知不覺的情況下,深刻地影響你的判斷、選擇和行為。
最近兩個月鬧得沸沸揚揚的FaceBook事件,就是一個例子。高達5000 萬的Facebook用戶數據被Cambridge Analytica 數據分析公司非法獲取,并用于操縱美國總統競選。
如上圖所示,2018年4月10日、4月11日,美國參議院商務、科學與交通委員會和參議院司法委員會針對Facebook 扎克伯格舉行了一場聯合聽證。
成本
以AWS為例,>500TB/月時,0.021美元/每GB,如果用戶存放1PB的數據量,10年大約需要花費264萬美元。這種中心化運營的模式,公有云存儲提供商必不可免的需要在數據中心的部署、管理運維,以及人力上耗費大量成本。
性能和效率
隨著物聯網(IoT)和邊緣計算(一種在物理上靠近數據生成的位置處理數據的方法)的興起,有些場景必須在終端附近快速的進行存放和處理。
過去十多年里,企業IT總體的發展趨勢,是從分走向合,原有的IT巨頭紛紛被公有云計算的服務提供商沖擊。接下來,這個趨勢仍然會持續,但從合走向分的暗流開始涌動。當數以千億級的設備所組建的物聯網開始普及時,從合走向分將更為凸顯。
當然,也許未來的情形更可能是你(云計算)中有我(邊緣計算),我中有你的融合發展。
如何在公有云基礎上,使得安全和成本,能夠進一步取得突破? 現在看來,軟件定義存儲與區塊鏈的結合是一個不錯的選擇。
我們先來看一下,什么是軟件定義存儲?
軟件定義的存儲(SDS)是一個不斷進化的概念,在現階段看來,是指存儲資源由軟件自動控制,通過抽象、池化和自動化,將標準服務器內置存儲、直連存儲,外置存儲,或云存儲等存儲資源整合起來,實現應用感知,或者基于策略驅動的部署、變更和管理,最終達到存儲即服務的目標。總結成一句話就是存儲即服務。
再來看一下,什么是區塊鏈?
區塊鏈(BlockChain)本質上是一個分布式的賬本,也是去中心化的數據庫。大名鼎鼎的比特幣的底層技術就是區塊鏈。
區塊鏈并不是一種新的技術,是新的技術組合,它非常巧妙地將若干種技術結合起來,包括分布式數據存儲、點對點傳輸、共識機制、加密算法、智能合約等。其中,共識機制是區塊鏈系統中實現不同節點之間建立信任、獲取權益的數學算法;智能合約是一種旨在以信息化方式傳播、驗證或執行合同的計算機協議。智能合約允許在沒有第三方的情況下進行可信交易,這些交易可追蹤且不可逆轉。
如下列出了區塊鏈的六大優勢,提升透明度;精確追蹤;長期保存;降低成本;提升效率和不可篡改。
兩者之間有什么共同點嗎?
首先,軟件定義存儲分成控制平面和數據平面。控制平面決定數據的調度和流向,能否實現存儲即服務,就是在控制平面層決定的。
數據平面決定數據的處理和優化。眾所周知,在數據平面這一層,分布式存儲(包括Server SAN、HCI、分布式文件存儲、分布式對象存儲)在市場份額上不斷地迅猛增長,逐漸侵蝕集中存儲的份額。根據Wikibon的預估,大約在2021年前,企業級存儲的市場份額中,分布式存儲將超越集中存儲。
分布式就是軟件定義存儲和區塊鏈的共同特點之一。分布式能夠避免了中心節點帶來的安全隱患、性能瓶頸和擴展局限。
自動化是第二個共同特點,軟件定義存儲的終極目標是實現存儲即服務,自動化是其最高階段的任務。在區塊鏈里,自動化的體現就是智能合約,它將極大地縮短時間,提高效率,降低交易的成本。
下面我們來分析一下軟件定義存儲如何與區塊鏈結合,以及兩者結合帶來的優勢。
現有的主流的云存儲,都是中心化運營的,做為用戶,很難確保自己上傳的數據等安全性,尤其是可能包含隱私信息的資料、照片、視頻。是當你使用免費或者超低成本的云盤空間時,更是如此。因為,天下沒有免費的午餐,云存儲的運營商需要投入巨大的成本來提供存儲空間和運營,這里面包含了數據中心的建設、運營、人員的成本等等。大多數云存儲提供商都是依托于互聯網巨頭的,這些互聯網巨頭不可能永遠免費或者虧損的形式提供存儲服務。用戶上傳到云存儲上的數據,很可能被用于其人工智能、大數據分析的原始素材。
用戶的數據并非絕對不可使用,但應該由用戶自主決定,并且如果被使用,用戶應該有機會獲得收益。
區塊鏈的誕生,為軟件定義存儲的發展開辟了新的道路。
首先,存儲的池化可以在更廣闊的空間,以更豐富的形態來實現。其次,區塊鏈的Token激勵機制,可以驅動大家將企業級存儲、服務器、PC、移動存儲等的剩余存儲空間貢獻出來。用戶數據以分布式地方式存放到不同節點上,每個節點實際存放的數據只是數據的一些切片,而且這些切片還以加密的方式保存起來。這樣,數據能夠更安全地保護起來,即使提供存儲節點的用戶有機會查看這些切片,看到的也是沒有實際意義的數據段。
再次,區塊鏈的DAO(Distributed Anonymous Organization分布式自治組織)這種分布式商業模式,有機會借助全球的資源和人才,類似眾人拾柴火焰高一樣,加速產品和商業模式地發展。
最后,如果區塊鏈的基礎設施,以及之上等應用(DApp,Distributed App)逐步完善之后,用戶存放的不只是數字信息,而是可以進行價值交換的數字資產。舉個例子,作者撰寫的《軟件定義存儲:原理、實踐與生態》大約是在2016年7月上市銷售其紙質書的。然而,時隔一個多月,我就在某個網站上看到全文電子版,令我氣憤不已。但是,由于你無法找到始作俑者,很難進行維權。然而,區塊鏈可以幫助我們在互聯網上進行數字資產的確權,在這個基礎之上就可以進行數字資產的轉移,附帶實現價值的交換。由于區塊鏈還具備不可篡改,精確追蹤等特點,使得版權保護更容易實現。
實際上,在全球范圍內,已經有好幾個軟件定義存儲結合區塊鏈(后面簡稱為區塊鏈存儲)的項目,正在如火如荼地展開。如IPFS、StorJ、Sia、Maidsafe、Bluzelle、Decent、Archain 等,下面重點介紹下IPFS和StorJ。
一、IPFS
IPFS(Inter Planetary File System)是一個面向全球的、點對點的分布式版本文件系統,它的發明者胡安·貝尼特是一位墨西哥移民,畢業于斯坦福大學的計算機科學專業。他之前創立的一家公司在 2013 年被雅虎收購 ,隨后他在今年的 Y Combinator 項目中成立了 Protocol Labs,這家公司現在的工作是推進IPFS 項目,它的目標是取代我們在過去 20 年已經習以為常的互聯網超文本傳輸協議。
IPFS被譽為下一代網絡協議,以分布式的方式,來取代越來越中心化的HTTP。IPFS發行的數字貨幣Filecoin,在2017年8月21日進行ICO,短短的1個小時,就籌集了超過2億美元的資金。
使用HTTP時,我們查找的是位置,而使用IPFS時,我們查找的是內容。IPFS的做法是不再關心中心服務器的位置,也不考慮文件的名字和路徑,只關注文件中可能出現的內容。例如123.txt放到IPFS節點,它會得到一個名字:
這是一個由文件內容計算出的加密哈希值。哈希值直接反映文件的內容,哪怕只修改一個比特,哈希值也會完全不同。
令人驚訝的是,IPFS主鏈還沒有上線,但全球已經有很多人開始摩拳擦掌,準備進行挖礦了。筆者最近聽到的一個消息是,從2017年年底到2018年3月份,因為全球挖存儲幣,導致大容量硬盤(例如8TB以上)的價格上漲了20%以上,真是令人瞠目結舌。
二、StorJ
Storj起源于一次比賽。2014年4月,一個開源、去中心化存儲平臺Storj,贏得德克薩斯州比特幣會議的黑客馬拉松獎,獲得了BitAngles基金250 000美元投資。2017年2月, Storj獲得300萬美元種子輪融資,投資方包括風險投資公司谷歌風投、美國高通風投以及Techstars的個人投資者。 截止2018年3月,Storj在200個國家擁有9萬個節點,每個月有6.9萬注冊用戶,超過2.4億筆交易。
Storj曾制作了一張圖,比較了像Storj這樣的去中心化存儲系統的成本與像Dropbox這樣的傳統中心化存儲系統的成本。結果令人驚愕。Storj聲稱在自動網絡上購買和出售硬盤空間將會極大地降低云計算的成本,去中心化存儲成本只有中心化存儲的1/100-1/10。
不過,由于Storj仍然處于不斷完善之中,筆者最近了解到的情況是,它的單位GB價格目前只比AWS S3便宜30%左右。
其實,最令我感興趣的是,開源軟件公司Docker的首席執行官BenGolub在2018年3月12日加入Storj,擔任執行主席、臨時首席執行官。這或許代表著IT技術的下一個風向。
Airbnb是全球最大的租房公司,但自己卻沒有擁有任何一間酒店房間。StorJ沒有自己實際擁有的存儲空間,但立志要顛覆DropBox。或許,在區塊鏈和共享經濟時代,新的巨頭將以全新的方式和面貌出現。