賁鋒：啟迪設計私有云數據中心建設實踐|V課堂第109期
第109期【智造+V課堂】“優秀CIO”主題分享月第一期，啟迪設計集團股份有限公司信息技術中心主任、高級工程師賁峰，賁主任從啟迪設計私有云架構設計、平臺功能、數據中心機房建設等幾個方面深度暢聊了啟迪設計企業部署私有云數據中心的實戰和探索。
一、分享嘉賓
啟迪設計集團股份有限公司信息技術中心主任 賁 鋒
1. 個人簡介
- 啟迪設計集團股份有限公司信息技術中心主任/高級工程師;
- 從業30余年一直工作在信息化建設第一線，推進并見證了啟迪信息化的發展歷程，主持完成企業信息化規劃、ERP、協同設計及數字化交付平臺等全部信息化項目實施。
2. 獲獎情況
- 主持完成的項目獲省勘察設計行業軟件二等獎;
- 所帶領的團隊連續獲中國勘察設計行業“十一五”、“十二五”信息化建設單位先進稱號、2017年度江蘇省企業信息化優秀團隊;
- 個人獲中國勘察設計行業“十二五”信息化建設先進個人、2016年全國優秀CIO、2017年江蘇省企業優秀CIO等殊榮。
二、分享主題
《啟迪設計私有云數據中心建設實踐》
三、分享大綱
1. 啟迪設計概況;
2. 啟迪設計私有云架構設計;
3. 平臺功能;
4. 與傳統架構的對比;
5. 有待優化部分;
6. 數據中心機房建設。
四、原文實錄
原文實錄context：
今天很高興在這個地方跟大家歡聚一堂，與大家分享有關企業私有云建設的一些心得，首先也要感謝江蘇省企業信息化協會，讓我們有機會在這個平臺上面共同的交流、學習。
今年是江蘇省企業信息化企業上云的推廣年，江蘇省剛剛頒布了企業上云工作指南，以及星級上云企業評定的標準，我們也就順應潮流，一起來談談云。首先按照慣例，先簡單的介紹一下我們啟迪設計集團的情況。
啟迪設計集團創建于50年代，到現在已經走過將近60余年的歷程：
2002年由蘇州市人民政府直屬的蘇州市建筑設計研究院改制成民營企業。 2016年2月正式在深圳上市，股票代碼300500，大家可以關注一下。2017年3月8日，清華大學啟迪控股參股蘇州設計(也就是我們原來的前身)啟迪設計正式更名而成。目前整個的啟迪設計集團股份有限公司在全國各地有近20多個分公司與子公司。
這是一張我們
啟迪設計在信息化過程當中所走過的一個縮影。
啟迪設計是整個勘察設計行業當中比較早投入信息化工作的。九十年代開始，我們通過甩圖板進入了計算機的時代，2004年正式的進入局域網的運營時代，2004年我們又成為全國較先開展協同設計以及信息化管理的設計企業。2006-2015年是我們信息化的發展跨越年。在這個過程當中，我們注重項目的全過程的信息化管理：從設計輸入->設計輸出->一體化的協同設計平臺的建設。2015年適應公司股改以后的集團化的運作和資源整合，為了順應集團全國化布局戰略，我們開始進行私有云建設的嘗試。通過私有云建設的過程來實現了我們核心信息系統：ERP系統、一體化協同設計與數字化交付以及數字化檔案的全過程信息化應用平臺等的云端部署。
2016年我們建成了現有的一個私有云數據中心，這張圖是我們的私有云架構設計圖。
底層是我們常說的核心物理層基礎架構層：存儲、網絡以及計算單元。其實，再怎么的“云里霧里”還是離不開IT基礎架構的建設。
在IT物理基礎架構之上，我們搭建了虛擬化環境，也就是圖中的中間層;再上層，我們通過云服務組件來實現了自動交付，自動部署;最上層是基于EMC的EHC私有云門戶。
圖的左側是保護整個云環境數據安全完整的數據備份解決方案。
圖的右側是我們的日志管控，智能化運維的組件。
在與外界交流當中，經常我聽到一些同仁受某些系統集成商的蠱惑，把虛擬化和云混為一談，經常會出現搞了幾臺虛擬器，然后跟大家說我們已經云化了，已經部署了私有云……。
通過這張圖，大家應該比較能夠清晰地了解私有云的一個完整架構所應涵蓋的，必須具備基本要素。它除了虛擬化層面以外，底層架構，自動化的部署服務和交付，數據安全以及智能運維，這些元素都是不可或缺的。
接下來這張圖是私有云平臺的功能模型。
我們知道，私有云建設第一步是需要把所有的資源進行池化和整合，在這個解決方案中我們有計算資源池、存儲資源池以及網絡資源池，然后通過虛擬化的管理和自動編排，實現計算即服務、存儲即服務，以及備份即服務。
這張圖是我們私有云平臺的邏輯架構圖。
底層是x86的服務器，上面從左至右是計算虛擬化、存儲虛擬化以及網絡虛擬化。這三個虛擬化構成了三個不同的資源池。
圖的右側是我們基于云的全方位完整備份系統，是整個云數據安全的保障。當然其實這個私有云平臺最終是可以與公有云形成一個完整的混合云的架構，在這個環境中可以加入公有云資源進行共同管理。
圖的上方是我們資源池的集中監控、運維管理組件和平臺門戶。
接著上面一張圖，這張圖是前面一張圖的軟件模塊投射上去以后的成果展示。
包括我們的硬件投射上去以后，形成的基于VMwarevCloud技術結合IT基礎架構所形成的一個私有云云平臺邏輯架構。
這張圖也就是基于VMware vCloud實現自動化交付的所有云組件，其中包括：實現資源調配流程的流轉以及自動部署組件+EHC的企業門戶來構成的云平臺的租戶隔離系統。
我們剛剛講到，我們私有云平臺基本的架構設計和平臺的一些功能模型，同時我們也談到了私有云的邏輯架構。這個圖給大家展示的是私有云從物理層面架構的組成部分。
從底層來開始：存儲這一塊我們是基于EMC做了兩個存儲分區，一個是文件存儲是一臺NAS，當時部署是5個節點Isilon，400TB的總容量，主要用來保存我們非結構化文件;第二個存儲是一臺SAN存儲，部署了一臺EMC高端的存儲Vmax100K，作為核心存儲存放虛擬化環境數據及應用數據庫等結構化數據。存儲全部通過兩臺8GB的光纖交換機與我們上面的云計算節點進行連接，這兩臺8GB的光纖也是虛擬化實踐常用到的存儲光纖交換機DS6510，全萬兆模塊置備。
云計算節點在初期的時候我們配置了四臺的X86服務器，作為私有云的數據中心來部署。另外我們部署了三臺置備虛擬化專業顯卡的X86服務器搭建虛擬桌面服務器群。X86的虛擬桌面服務器群重點是解決我們三維設計的VDI桌面虛擬化應用。
圖的最上層是我們兩臺局域網數據中心三層核心交換機，通過這兩臺萬兆的數據中心交換機，與我們整個集團總部的局域網進行相連。我們目前的網絡布局是干線萬兆+千兆到桌面的部署。
圖的右側是我們的備份單元，是基于EMC的備份存儲DATA DOMAIN，加上EMC整個的備份管理套件Network+AVMAR分別來備份我們的虛擬化環境、核心應用數據庫，以及我們大批量的非結構化文件備份。
這張圖是我們整個云環境部署以后的拓撲結構圖。
底層除了剛剛講過的SAN存儲和NAS存儲，底層的右側還有一臺備份存儲。然后通過EMC的ViPR組件進行存儲的虛擬化。中間是我們的虛擬化層，整個虛擬化數據中心的計算單元里面一共部署了大概40多臺的業務虛機，加在私有云平臺組件虛機20余臺一共是六十幾臺虛機。
講到計算單元和存儲單元的時候，我們重點要強調在云的部署過程當中，我們很容易忽視掉的一個是什么?就是云環境本身所占用的資源，其實這一塊的資源消耗量也是比較大的。首先從計算單元來講，整個云環境所要的虛機數大概要20臺左右，存儲也要將近3～4個TB的存儲，作為核心存儲的開銷，其實這個開銷的成本是非常大的。在這一點上，大家在做私有云數據中心計算單元的評估、評價時，需要想清楚或者說預留我們相應的云本身所需要的資源，包括存儲資源和計算資源，這點非常重要。
圖中虛擬化層當中是我們基于Citrix部署的一個虛擬桌面環境，它重點解決我們部分研發上對VDI虛擬桌面的應用需求。當然在這個過程當中，我們意識到由于我們行業的特性，我們對顯卡的要求加上非結構化數據傳輸的量比較大，在虛擬桌面的使用過程當中，我們的網絡流量開銷是比較大的。在內網并沒有覺得這一點，但是當要把它投射到外網的時候，基本上一個用戶所占用的網絡帶寬是在10～15兆，這一點跟我們一般辦公的虛擬桌面是不太一樣的。
因為這一塊的部署，我們是在2016年的初期完成的，當時使用的GPU虛擬化顯卡是英偉達的K2。但是現在我們希望在進行擴容的時候會發現，因為GPU虛擬化這一塊的成本急劇的提升，英偉達對新一代GPU虛擬化顯卡的收費除顯卡購置費之外還需要每一年為GPU虛擬化通道的license授權繳納相應的服務費，所以感覺GPU虛擬化成本壓力過大。在這里我也正好向大家提出來，不知道其他的同仁有沒有更好的GPU虛擬化解決方案?之后能一起來溝通交流，相互學習。
圖中虛擬化層的右側就是云服務平臺，包括EMC的云門戶EHC、存儲虛擬化組件及備份套件等。
然后是我們對整個的應用做幾個分區，和一個是桌面虛擬化分區。
圖右側還有一個是綜合管理分區。綜合管理分區，我們部署了相應的一些網管軟件、性能監控軟件，以及我們的AD、日志服務、DHCP等，一些運維管理服務也部署在綜合管理區。
圖右下是剛剛講到的數據備份，我們是用了基于DD250備份存儲基礎+EMC備份套件來構成完整的備份。
在容災這一塊，我們是利用了原有我們的一個數據中心和我們原有存儲、計算單元，然后通過RP4VM進行我們的核心虛機的保護。當然不可能對所有的應用服務器進行容災保護。我們所有的應用加在一起應該是六十幾臺的虛機，包括云環境本身的20臺機虛機。因為我們買的RP4VM容災保護license也不夠，所以說只能保護15個關鍵應用虛機環境，當我們的云數據中心出現問題的時候，我們的備份數據中心就是我們的容災中心，這就是我們利舊的原來的計算資源和存儲單元，是可以在降性能的情況下進行業務連續性的保護。
網絡層這一塊，我們除了核心交換機以外，我們部署了一個邊界防火墻、二臺數據中心防火墻，同時也部署了上網行為管理以及無線管控等。
核心交換機之下就是我們的樓層交換機了，我們也是通過核心交換機與樓層交換機之間進行萬兆互聯。樓層交換機與樓層交換機之間，我們也是通過萬兆光纖進行相互的級聯。
剛剛講了我們云平臺的建設，從架構到設計，到我們的拓樸結構。這張圖主要是展示我們應用層跑上去以后的云平臺情況。
我們為什么要建云?我們建云跑哪些應用?
我們重點的是頂端生產平臺，從設計輸入->設計輸出->數字化檔案，完整的協同設計的生產平臺。
ERP這一塊重點是上了幾個應用：財務、人力資源、合同管理，也就是項目管理，包括收入確認;還有就是費控預算及采購了。通過人力資源完成的人事基本信息以及我們組織架構，對整個集團所有的簽入、簽出合同、收入確認、對接財務管理，實現財務、業務一體化的過程。當然我們還有實現了OA的移動化應用，都在這個云平臺基礎上完成集團化應用。
基于這樣一個云的平臺，我們所有的核心應用都能通過我們集團數據中心來支撐各地的分、子公司的業務(這一塊是通過我們專有的VPN防火墻來接入進來的)。講到公有云，我們實際上使用了財務業務一體化ERP系統當中，金蝶的“云之家”的一個公有云移動平臺。重點解決移動辦理流程、審批以及IM的一些功能。
作為一個傳統企業上云，我的體會就是，上云之后與原來虛擬化環境之間的最大的改變在于：
- 第一個，資源的整合更緊密了;
- 第二點，資源的管理也更嚴謹了;
- 第三點是資源的監控更到位了;
- 第四點是數據安全更有保障了;
因為通過云的平臺管理構成了一個完整的數據備份以及容災解決方案。
我們原來初期建虛擬化的時候，我們往往對虛擬化環境的備份會覺得非常困惑。其實很多場景下Vmware ESXi所提供的快照及備份方案是不可能解決虛擬化環境自身數據安全的基本問題地。
我們為什么要上云?上云對我們有什么好處?跟我們原來的傳統架構之間有什么樣的一個區別?
我想通過這張圖跟大家來表達一下。
首先云平臺建設對我們啟迪設計，短時間內具備了一些敏捷自動化和標準化的云的服務提供能力。云應用回歸到傳統企業來講，更關注的并不一定是它的敏捷和自動化，其實更關注的應該是它的標準化的云服務提供能力，智能化的運維能力以及剛剛講的完整的安全架構。
也正因為這樣，云平臺所能提供的整個資源全生命周期的自動化管理，與傳統架構相比，是有一個顯著的人力資源的節約，同時也的確確地提升了IT基礎架構的彈性。還有就是剛才不斷的重復的，資源標準化的供給和整體運營效率和智能運維能力。
從2016年到現在，已經將近兩年的時間，在這一塊我們項目過程當中，我們在不斷地做一些更進一步的嘗試。我們現在還是通過一個數據庫的評價軟件，在進行了數據庫的性能評價之后，我們把兩個核心數據庫全部虛擬化了，然后把四臺的原來做數據庫服務的計算單元，4U X86PC服務器接入到了我們原有的數據中心來，有效地擴展了我們現有的云數據中心的計算單元和服務能力。
當然我們數據中心在建的時候，資源模板相對來講比較單一，云的一些資源模板也在不斷地增加當中，來確保我們后面整個計算單元提供的能力。還有，為一步迎合我們后續對全國化布局的需要，我們后續將重點解決混合云的對接問題。當然我前面也提過EHC有一個先天的優勢，本身它是一個基本的混合云的架構。在做一些相應的配置和擴展也是能夠實現混合云的管理能力。
前面跟大家重點交流和分享的是我們云數據中心，云架構這一塊。從物理架構再底層就是我們私有云數據中心的機房。機房的建設過程當中也會涉及到很多具體的一些問題，我大概簡單的羅列一下。
下面這張圖就是我們云數據中心機房的一個布局圖。
我們看到左圖中央的開孔地板是下送風單元。右側上方分別是我們樓層的光纖接入交換機及配電單元。右下側是一臺我們講的NAS存儲。再右側是我們的一個核心存儲，EMC的VMAX。
在上面這張圖上我們可以看到，最左側的小柜子是我們的UPS，左圖的右側兩個是我們的精密空調。右圖是我們的UPS電池組，電池組的上方是一個排風單元和我們的一個自動噴淋。
大家不知道清不清楚，往往數據中心火災大都是因為電池在運行過程當中產生的微量氫氣遇到火花所造成的，這種是占了數據中心機房火災80-90%的的原因。所以在數據中心機房建設過程當中，電池組一定要跟數據中心機房進行物理隔離，同時增設排風單元，將有可能散發出來的一些微量氫氣抽到室外去。
我們知道，數據中心本身它的滅火系統通常是氣體滅火，但是電池這一塊我們可能就沒那么講究了，我們就采用自動噴淋的方式。如果是特別大的IDC機房，它的電池組的滅火系統也同樣是氣體滅火，但氣體滅火的成本遠遠比自動噴淋的成本要高得多得多，有錢當然也就可以任性。
這張圖是我們數據中心機房內的一張火災氣體滅火的裝置，它的右側是我們氣體滅火的控制箱。氣體滅火其實是在數據中心機房建設當中的一個強制標準。這一塊一定要做的，你如果不做，出現問題也比較大，但是在這一塊要引起注意的是，我們一般的正常的氣體滅火是通過手動來控制的，。如果設置為自動狀態，一旦出現煙感或者溫感的誤報，氣體滅火如果啟動，人如果在數據中心機房里面是沒有辦法逃生的。
在企業數據中心機房建設當中，大家一直會有個疑惑，就是精密空調成本比較高(大概要幾萬塊錢一臺)，為什么不能用舒適性的空調，就是我們的柜機替代呢?這兩個空調最大的區別是什么?
舒適性空調可以控溫度，但是不能控濕度。在冬季，舒適性空調制冷也是比較困難的。另外，機房除了溫度的要求，它是有一個標準的濕度要求地。控制濕度基本上是在50%左右，過高過低都不利于電氣性能的運行。
機房建設除了剛剛講的這幾塊以外，還有一塊重要的一個問題，就是我們在機房建設的過程當中，我們放在什么地方?一層樓還是二層樓?正常的我們一般的辦公樓，樓板如果沒有做特殊加固，每平方米的承重壓力在200公斤到300公斤之間。一個機柜如果是600毫米X1000毫米，也就是0.6個平方，折算下來，你機柜里面只能裝載一百多公斤的設備。大家知道一臺滿配硬盤的服務器，是在65公斤到70公斤之間，也就是說我們一個機柜里面也只能放三臺服務器。
我們經常會奇怪一些機房的機柜里面為什么不滿配?除了剛剛講的荷載的作用因素以外，還有一個就是每個機柜的散熱能力，正常的講一個機柜的用電負荷不能超過8KW，超過8KW可能就要在機柜底部加一個ADU的強制送風單元才能保證機柜散熱了。
另外，在機房的設計過程當中，千萬不要忘了等電位器的部署。為了保證我們機柜的布線清晰和理線能力，建議大家選用80公分寬度的機柜，多出的20公分是左右各安置一個垂直理線架。這樣的垂直理線比60公分寬度的機柜水平理線，能夠更保證機柜里面的線路的清晰和整齊。
