夏朝時期的中國地圖,記錄在哪里?戴爾易安信Isilon存儲為你揭秘數(shù)字時代“九鼎圖”的背后
在沒有紙張,也沒有簡牘的時代,古代中國的地圖繪制在哪里呢?
答案,是鼎上。
《漢書·郊祀志》記載,大禹治水成功后,用九州進貢的金屬,鑄造了九只大鼎,把九州有代表性的各種奇異之物、山川河流的地形分布鐫刻在其上。據(jù)此可知,九鼎是見于文獻記載的、刻繪有九州山川形勢的原始實物地圖。
隨著歷史的發(fā)展,地圖的形式也在不斷變化著,先秦到兩漢時期,先后出現(xiàn)了帛、紙質(zhì)的地圖。
而到了今天,對于我們來說,找到自己的地理位置和方向已經(jīng)變得更加簡單,因為我們已經(jīng)有了數(shù)字時代的“地圖導航軟件”。
地圖軟件為我們帶來了極大的便利,節(jié)約了很多的出行時間,比如避免堵車。可是大家有沒有想過,地圖軟件是如何知道前方擁堵的?是如何知道這段路上有違章監(jiān)控的,又是如何在眾多線路中選擇最佳路線的呢?
今天,讓我們來揭開
這些地圖軟件強大功能
背后的神秘力量
☟☟☟
小小的地圖軟件
數(shù)據(jù)從何而來
與銘刻在九鼎上的地圖和帛、紙地圖不同的是,現(xiàn)代地圖軟件擁有更多的功能。比如我們上文所說的對行車線路進行規(guī)劃。
要想掌控全局并對線路進行指引,首先要有最基礎的地理信息數(shù)據(jù)。舉個簡單的例子:一個地區(qū)有多少條街道,這些街道的準確位置,每條街道多寬、多長等。有了這些基礎數(shù)據(jù),加上軟件的算法,才能實現(xiàn)地圖軟件的功能。所以基礎地理信息數(shù)據(jù)非常重要,是所有地圖導航軟件的基石,一般來說,主流的數(shù)據(jù)來源分為四類:
❶ 高空拍攝:使用專業(yè)航空器從空中拍照片
❷ 數(shù)據(jù)共享:從專業(yè)領域獲取數(shù)據(jù)
❸ 實地采集:使用專業(yè)測繪儀器
❹ 互相幫助:用戶上報更新環(huán)境
其中前兩項是數(shù)據(jù)的主要來源。由于我國的高空拍攝管控嚴格,地理基礎數(shù)據(jù)一般不對外,所以很多數(shù)據(jù)要從專門的測繪機構獲取。
該測繪機構一部分職責是管理全國測繪成果資料和檔案資料,在這里,我國的山川河流、平原丘陵,各種地形地貌都被電子化和數(shù)字化了,為石油勘探、農(nóng)業(yè)牧業(yè)、軌道交通等各行各業(yè)提供地形保障,是國家非常重要的部門,其所存儲的地理信息之全面,堪稱數(shù)字時代的“九鼎圖”。
海量的地理信息
數(shù)據(jù)如何存儲
前端人員非常辛苦地將數(shù)據(jù)采集回來,并被電子化之后,這些寶貴的數(shù)據(jù)存儲在哪里呢?
01
巨量的數(shù)據(jù)
電子化之后的地理信息,是通過不同的層次來描述的。對于不同的應用,疊加的圖層也是不同的。簡單的說,僅僅是一條道路,無論是采用矢量模型還是柵格模型進行電子化,數(shù)據(jù)量都是非常大的。我國幅員遼闊,存儲在測繪機構的數(shù)據(jù)量規(guī)模可想而知,至少要幾十PB,而且歷史數(shù)據(jù)永遠不能刪除,數(shù)據(jù)只會越來越多。
02
高并發(fā)訪問
高并發(fā)在地圖制作和用戶訪問兩個階段都會發(fā)生。采集回來的數(shù)據(jù)要經(jīng)過清洗、渲染等工序實現(xiàn)數(shù)字化。制作完成之后,還會有大量的使用端進行訪問。這兩個階段對存儲系統(tǒng)的讀寫要求都非常高。
03
區(qū)分“冷/熱”數(shù)據(jù)
我國發(fā)展迅速,幾年之間一個地區(qū)就會發(fā)生翻天覆地的變化,基礎地理信息數(shù)據(jù)也會隨之更新。這些歷史版本的數(shù)據(jù)不能刪除,而且有時候還會被利用到。新/舊地圖維護在一個存儲體系中,新的經(jīng)常用,舊的不能丟,還要隨時準備著被訪問,這些復雜的事情都需要存儲系統(tǒng)來處理。
數(shù)字時代“九鼎圖”的背后
讓我們回到原點,地圖軟件之所以能規(guī)劃最佳線路,是因為地圖軟件里已經(jīng)有了地理信息數(shù)據(jù),這些數(shù)據(jù)都已經(jīng)裝在了軟件服務器的存儲系統(tǒng)里,這樣,地圖軟件才能發(fā)揮作用。存儲這些數(shù)據(jù)的容器不是普通的硬盤,而是滿足大數(shù)據(jù)量、高并發(fā)、區(qū)分冷熱等要求的存儲體系,是這個存儲體系在背后默默支持著地圖軟件。
我們上文已經(jīng)提到,地圖軟件的大部分數(shù)據(jù)來自測繪機構,這里存儲著堪稱數(shù)字時代“九鼎圖”的海量基礎地理信息數(shù)據(jù),是我國地理信息的標桿,經(jīng)過長期的技術積累,已經(jīng)找到了合適的存儲體系。
下面我們來看看標桿是怎樣做的:
在2012年該測繪機構決定采用“分布式”存儲體系。“分布式”存儲體系的好處是線性擴展,數(shù)據(jù)增加的時候只需要擴展節(jié)點即可,而且上限很高,于是采用了當時最成熟的高性能分布式存儲體系Isilon。
隨著數(shù)據(jù)量越來越大,歷史數(shù)據(jù)需要“沉降”,即不經(jīng)常使用的舊版本數(shù)據(jù)放到一個區(qū)域集中管理,于是在Isilon后端采用了ECS解決方案,大容量而且隨時提取。
由于數(shù)據(jù)量巨大,每天“沉降”的速度趕不上新增的量,于是提出了高并發(fā)的整體解決方案Isilon+ Nginx +ECS,即在Isilon和ECS之間加入負載均衡Nginx,實現(xiàn)數(shù)據(jù)高速分發(fā),提高“沉降”和“訪問”速度。這樣一套大容量,高并發(fā)且“冷熱“分離隨時訪問的存儲體系就建成了,非常適合地理信息這類應用。
地理信息的數(shù)據(jù)分為矢量數(shù)據(jù)和索引數(shù)據(jù)兩大類,矢量數(shù)據(jù)一般都是大文件,索引數(shù)據(jù)是小文件。當有讀請求時,會先到索引文件中搜索,所以小文件的隨機讀寫,決定著整體業(yè)務系統(tǒng)的性能。
為了加快小文件隨機讀寫,在Isilon解決方案中引入緩存加速功能,將高速的SSD盤變成緩存,使緩存區(qū)域變大,大部分熱數(shù)據(jù)在緩存區(qū)即可完成讀請求,大大的提高了效率,解決了小文件隨機讀寫的性能問題。
*戴爾易安信Isilon存儲是業(yè)界首屈一指的橫向擴展NAS存儲,其由英特爾®至強®可擴展處理器提供支持,為Isilon提供了卓越的性能和效率,助力用戶輕松挑戰(zhàn)不斷增長的非結構化數(shù)據(jù)環(huán)境。
地理信息的數(shù)據(jù)量非常大,而且要永久保存,所以在實現(xiàn)高性能的同時,這套系統(tǒng)還要實現(xiàn)數(shù)據(jù)大容量長期存儲的需求。
如何做呢?在Isilon后端接入了云存儲ECS,使用CloudPools功能,將不經(jīng)常使用的數(shù)據(jù)沉降到大容量云存儲ECS中,整個過程是自動完成的,無需人工干預。為了實現(xiàn)負載均衡,在Isilon和ECS之間還部署了負載均衡系統(tǒng)Nginx,實現(xiàn)了高并發(fā)沉降,滿足業(yè)務系統(tǒng)需求。這也是Isilon-Nginx–ECS在國內(nèi)的首個成功案例,體現(xiàn)了非常好兼容性。
高性能分布式Isilon+負載均衡Nginx+大容量云存儲ECS支持著前端高并發(fā)請求,而且容量和性能都是線性增長,哪里缺失補哪里,無需停機,自動負載均衡,保障著國家測繪局地理信息存儲系統(tǒng)的快速、穩(wěn)定、高效運行。
至此,我們終于揭開了地圖導航軟件背后的神秘力量。
從先秦時代承載華夏九州地形地貌的“九鼎”,到兩漢時期記錄古絲綢之路的“帛和紙地圖”,再到現(xiàn)代支撐起各種地圖軟件的“國家地理信息存儲體系”,地理信息在中國一代又一代人的手中不斷傳承著。戴爾科技始終踐行“在中國,為中國”的理念,為這種傳承不斷助力!
相關內(nèi)容推薦:讓規(guī)劃部署存儲系統(tǒng)變得so easy!