三維建模，大數(shù)據(jù)存儲(chǔ)是核心

“測(cè)繪行業(yè)關(guān)乎國計(jì)民生、兩型社會(huì)、霧霾治理、智慧城市‘網(wǎng)格化’，以及互聯(lián)網(wǎng)、物聯(lián)網(wǎng)關(guān)聯(lián)服務(wù)業(yè)的發(fā)展，理應(yīng)成為大數(shù)據(jù)應(yīng)用的開路先鋒。為此，我們以提升核心競(jìng)爭力為著力點(diǎn)，確定了以全方位立體快速數(shù)據(jù)采集能力、海量數(shù)據(jù)快速獲取能力和地理實(shí)體數(shù)字三維重建技術(shù)為核心的發(fā)展思路。”測(cè)繪院技術(shù)負(fù)責(zé)人全面介紹了“三維空間藍(lán)圖”的由來。

[[130316]]

崀山國家地質(zhì)公園數(shù)字景觀三維建模成果圖：鯨魚鬧海

他同時(shí)還表示，“三維建模全面應(yīng)用會(huì)在數(shù)據(jù)存儲(chǔ)和應(yīng)用方面遇到挑戰(zhàn)，必須消除之前不利于業(yè)務(wù)發(fā)展的因素，重新構(gòu)建符合新應(yīng)用、新業(yè)務(wù)需求的大數(shù)據(jù)存儲(chǔ)系統(tǒng)。”那么，在某省測(cè)繪院用集體智慧構(gòu)建的未來發(fā)展戰(zhàn)略中，數(shù)據(jù)存儲(chǔ)與管理遇到了什么問題，又為何被稱為“不利因素”呢?

“共享難、效率低、安全差、容量小”，四大阻礙亟需突破

深入溝通之后發(fā)現(xiàn)，測(cè)繪院原有的數(shù)據(jù)存儲(chǔ)應(yīng)用模式影響著持續(xù)創(chuàng)新和業(yè)務(wù)發(fā)展的速度。雖然技術(shù)人員嘗試過數(shù)據(jù)存儲(chǔ)和管理方式的改變，但一系列問題卻在改變中接踵而至。

存儲(chǔ)管理方面“先開刀”的是數(shù)據(jù)共享和訪問方式。據(jù)了解，該院下設(shè)8個(gè)職能科室、8個(gè)生產(chǎn)單位，但之前80%的單位數(shù)據(jù)存儲(chǔ)設(shè)備都比較落后，5個(gè)科室甚至還在使用傳統(tǒng)的服務(wù)器本地直連形式，在數(shù)據(jù)共享和管理方面已經(jīng)完全滿足不了業(yè)務(wù)發(fā)展的需求。

為了實(shí)現(xiàn)更方便的數(shù)據(jù)共享訪問，某省測(cè)繪院采用了數(shù)據(jù)集中管理模式，將數(shù)據(jù)統(tǒng)一放在數(shù)據(jù)中心，但隨之而來又出現(xiàn)了性能和安全方面的問題。

在性能方面，數(shù)十個(gè)部門、上百人同時(shí)訪問，帶寬爭用和訪問響應(yīng)速度緩慢的問題出現(xiàn)了，這讓很多用戶開始抱怨。而之前的存儲(chǔ)系統(tǒng)無法感知存儲(chǔ)類型，不能優(yōu)化大型非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)模式，導(dǎo)致重復(fù)數(shù)據(jù)越來越多，訪問效率越用越低。

在數(shù)據(jù)安全可靠性方面，也與之前的情形截然不同。據(jù)了解，該院的存儲(chǔ)數(shù)據(jù)主要來自于8個(gè)生產(chǎn)單位，最終的成果資料交由8個(gè)職能科室之一的生產(chǎn)技術(shù)科來管理和保密。但在共享模式下采集的數(shù)據(jù)如果丟失，將是人力物力財(cái)力的極大浪費(fèi)，尤其是在國際化信息安全趨勢(shì)持續(xù)惡劣的當(dāng)下，關(guān)乎國民生計(jì)的地理信息測(cè)數(shù)據(jù)繪絕不能被非法人員竊取。

“上述問題是隨著需求變化和應(yīng)用調(diào)整產(chǎn)生的，這為我們列出了‘管理、性能、安全’三項(xiàng)新需求。除此以外，三維重建技術(shù)應(yīng)用，更要解決數(shù)據(jù)存儲(chǔ)容量的問題。”該技術(shù)負(fù)責(zé)人說，“測(cè)繪工作采集了大量非結(jié)構(gòu)化數(shù)據(jù)，經(jīng)過長時(shí)間積累可能達(dá)到PB級(jí)別，尤其是三維建模采集的數(shù)據(jù)量更大，從二維圖形到三維圖形數(shù)據(jù)量的增長是幾何倍數(shù)級(jí)的。”

一線調(diào)研洞悉需求，AS3000支撐測(cè)繪大數(shù)據(jù)存儲(chǔ)

“他們能夠深入到業(yè)務(wù)工作的一線，走訪到每個(gè)單位和科室，在這種細(xì)致的需求調(diào)查基礎(chǔ)上，呈交上了一份可以解決問題、滿足業(yè)務(wù)發(fā)展、支撐‘三維空間藍(lán)圖’戰(zhàn)略的解決方案。”技術(shù)負(fù)責(zé)人對(duì)浪潮工程師的工作態(tài)度和解決方案都十分滿意。他表示，“前期設(shè)計(jì)方案從四個(gè)問題入手，整體性很強(qiáng)。重細(xì)節(jié)、看發(fā)展，這是我們最終采用浪潮測(cè)繪大數(shù)據(jù)存儲(chǔ)解決方案的原因。”

根據(jù)客戶數(shù)據(jù)中心的特點(diǎn)、業(yè)務(wù)部門的需求，浪潮提出利用海量集群NAS 控制器AS3000搭配浪潮高性能磁盤柜、萬兆交換網(wǎng)絡(luò)、光纖交換網(wǎng)絡(luò)，提供PB級(jí)數(shù)據(jù)存儲(chǔ)、共享特性、高效安全可擴(kuò)展的測(cè)繪大數(shù)據(jù)解決方案。

某省測(cè)繪院存儲(chǔ)系統(tǒng)整體解決方案

本次方案配置8個(gè)AS3000控制節(jié)點(diǎn)，其中2個(gè)為元數(shù)據(jù)控制節(jié)點(diǎn)，實(shí)現(xiàn)元數(shù)據(jù)訪問、分布式系統(tǒng)監(jiān)控、日志備份、系統(tǒng)管理功能，控制節(jié)點(diǎn)間采用Active-Active工作模式，保障在一個(gè)節(jié)點(diǎn)出現(xiàn)故障時(shí)，不影響主機(jī)業(yè)務(wù)運(yùn)行;其余6個(gè)為數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)，均配置高速萬兆以太網(wǎng)絡(luò)，32GB高速緩存，數(shù)據(jù)節(jié)點(diǎn)也采用Active-Active工作模式，從而保證整個(gè)系統(tǒng)的安全性、可靠性、連續(xù)性。另外，方案采用高度模塊化的設(shè)計(jì)，將控制節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)、存儲(chǔ)設(shè)備相分離元數(shù)據(jù)與數(shù)據(jù)分離架構(gòu)，確保用戶數(shù)據(jù)的傳輸只發(fā)生在客戶端和數(shù)據(jù)節(jié)點(diǎn)之間。

值得一提的是，存儲(chǔ)系統(tǒng)后端采用浪潮高性能磁盤柜提供648TB超大容量，前端通過雙FC交換網(wǎng)絡(luò)連接到AS3000控制器，鏈路冗余充分保障其中一條網(wǎng)絡(luò)鏈路故障不影響系統(tǒng)應(yīng)用。穩(wěn)定可靠的高性能磁盤柜提供了超大的后端存儲(chǔ)帶寬，使得AS3000如虎添翼，打造出了******性能體驗(yàn)。經(jīng)過現(xiàn)場(chǎng)測(cè)試，兩大產(chǎn)品無縫整合，可提供高達(dá)6GB的聚合帶寬和在線6000的IOPS，滿足該院所有客戶端同時(shí)在線讀取數(shù)據(jù)。

[[130317]]

浪潮AS3000集群NAS存儲(chǔ)系統(tǒng)

在實(shí)際運(yùn)行中，浪潮AS3000集群NAS存儲(chǔ)系統(tǒng)完全并行化的解決方案讓用戶不必再為性能擔(dān)憂。針對(duì)測(cè)繪地理信息的工作流、讀密集型以及大型文件的訪問特點(diǎn)，浪潮AS3000支持單個(gè)目錄下文件數(shù)量達(dá)到千萬以上，每秒104到105個(gè)操作的元數(shù)據(jù)處理吞吐率，即使全院所有客戶端同時(shí)讀取同一個(gè)目錄下的一個(gè)文件，也不會(huì)出現(xiàn)卡頓滯留的現(xiàn)象。

在海量數(shù)據(jù)存儲(chǔ)和訪問需求面前，浪潮AS3000獨(dú)特的高性能、集群架構(gòu)可實(shí)現(xiàn)多控制器的數(shù)據(jù)并發(fā)讀寫，控制器還可根據(jù)用戶需求靈活地實(shí)現(xiàn)在線擴(kuò)展。將“三維空間藍(lán)圖”戰(zhàn)略落地，某省測(cè)繪院需要保存的數(shù)據(jù)量將會(huì)急劇上升，在AS3000多種擴(kuò)展方式中，雙方溝通后選擇了scale-out方式，即增加數(shù)據(jù)節(jié)點(diǎn)的數(shù)量和后端磁盤柜的數(shù)量，達(dá)成了日后性能和容量擴(kuò)展的規(guī)劃。

從幾小時(shí)到幾分鐘，三維建模效率飛速提升

“AS3000是浪潮自主研發(fā)的擁有完全自主知識(shí)產(chǎn)權(quán)的海量存儲(chǔ)系統(tǒng)平臺(tái)，其完全國產(chǎn)化的背景，可以細(xì)分權(quán)限的安全策略，讓我們?cè)跀?shù)據(jù)安全保密方面能力大幅提升，有效防止了數(shù)據(jù)被監(jiān)控、被竊取的事件發(fā)生。另外，系統(tǒng)還支持重復(fù)數(shù)據(jù)刪除技術(shù)，極大地節(jié)省存儲(chǔ)空間，全院同樣的文件只保存一份，而映射給用戶的是多份，并且不影響用戶的讀取速率體驗(yàn)。這套安全可擴(kuò)展的存儲(chǔ)平臺(tái)，能夠支撐起我院所有單位的應(yīng)用業(yè)務(wù)，大大提升了我院的工作效率。”項(xiàng)目實(shí)施后，測(cè)繪院技術(shù)負(fù)責(zé)人給出了滿意的評(píng)價(jià)。

那么，與之前相比，工作效率到底提高了多少呢?

在測(cè)繪院工作多年的一位測(cè)繪工程師表示，“原先的存儲(chǔ)設(shè)備面對(duì)這類大型非結(jié)構(gòu)化數(shù)據(jù)的讀取和寫入顯得無能為力，這嚴(yán)重的影響后期的技術(shù)制作，拖延了模型成果的生成，成為了提升市場(chǎng)競(jìng)爭力的瓶頸之一。過去，三維地理模型制作時(shí)，數(shù)據(jù)的讀取可能需要幾小時(shí)的時(shí)間，然而現(xiàn)在短短幾分鐘內(nèi)就能完成所需求數(shù)據(jù)的下載與上傳，工作效率提高了十余倍，乃至數(shù)十倍。”