第102期【智造+V課堂】邀請南鋼集團云系統服務部部長 王蘇揚精彩分享《南鋼企業云發展歷程及未來規劃》。王總從南鋼企業云的構架、構建手段、應用效果以及未來的發展規劃，跟大家分享了南鋼企業云發展的點點滴滴。

一、分享嘉賓

[[220942]]

金恒信息科技股份有限公司云系統服務部部長    王蘇揚

1. 個人簡介

• 江蘇金恒信息科技股份有限公司云系統服務部部長兼信息技術研究院院長助理;
• 曾參與南鋼核心網絡升級、無線網絡建設、安全準入建設、服務器虛擬化及ERP、MES、計量、檢化驗服務器及存儲更新升級等項目。

2. 專業領域

• 企業信息化基礎架構整體規劃與實施
• 企業信息安全技術架構規劃與實施

二、分享主題

《南鋼企業云發展歷程及未來規劃》

三、分享大綱

1.南鋼及金恒簡介

2.南鋼企業云架構概述

3.南鋼企業云構建手段及應用效果

4.南鋼企業云未來的規劃

四、原文實錄

原文實錄context：

1.  南鋼及金恒簡介

南鋼1958年3月建廠，作為國家特大型鋼鐵企業，“精品板材+優特鋼”生產基地，曾獲國家級高新基礎企業稱號、亞洲質量獎、全國質量獎。2013年，南鋼整體產能達到1000萬噸。2015年南鋼進行事業部制改革，提出“一體三元五驅動”戰略，以金屬新材料為本體，結合節能環保、互聯網+、智能制造，打造綜合服務提供商。2017年鋼鐵企業競爭力評級中，南鋼在03家企業中排名第八，未來將為創建國際一流受尊重的企業智慧生命體而努力。

江蘇金恒信息科技股份有限公司是南鋼控股子公司，前身為南鋼信息與自動化公司，總部位于南京國家級新區江北新區，注冊資本1億元，2017年預計銷售額2億元、利潤3000萬元。

金恒主要為客戶提供兩化融合咨詢與IT規劃設計，智能產品研發、生產與銷售以及信息化、自動化、智能化、系統集成等綜合工程服務。產品與服務覆蓋鋼鐵、有色、化工、醫藥、造船、物流、機械、公共服務等多個行業。

2. 南鋼企業云架構概述

南鋼從2005年開始信息化進程，期間完成主干網絡、ERP、MES等大型信息化系統和基礎架構的建設，在歷經9年的運用和優化后，南鋼自2014年引入云概念，開始建立企業云，從架構部署模式上分類，我們目前已完成企業私有云的建設，如今計算和虛擬化長期處于成熟的曲線之中，存儲在“軟件定義”的路徑上得到很好的發展，從虛擬化，到分布式存儲，在上升至超融合架構(融合致簡，深度優化) ，南鋼企業云正隨著技術設施的完善不斷深化應用。當前正推進與阿里進行合作，推動公司公有云應用及混合云服務的前進步伐。

3. 南鋼企業云構建手段及應用效果

遵循云服務的設計理念，圍繞敏捷、安全、高效的系統響應能力作為架構設計的核心思想，架構設計由低到高分為AaaS、IaaS、Paas、SaaS四層規劃未來信息系統基礎架構，逐步實現資源整合、資源池化、資源按需分配的目標，我們針對鋼鐵信息化、智能化的特點，理解每個層次：

(1) AaaS感知即服務層Aware-as-a-Service

智能感知系統是未來南鋼智能制造的最基礎的工作，通過對基礎傳感設施的完善，收集各類生產、制造的過程數據，為大數據分析工作提供數據支持。根據公司1+X的理念，通過構建感知服務層，使各感知設備可以按照統一的標準和規范，進行數據的采集、傳輸和存儲，逐步構建諸如二維碼管理平臺、M2M數據采集平臺、RFID數據存儲平臺、統一視頻監控平臺等，為各類分析提供統一的業務感知數據。

(2) Iaas基礎設施即服務Infrastructure-as-a-Servic

基礎設施即服務是指把數據中心、基礎設施硬件資源，通過整合與優化，結合虛擬化技術，實現應用和服務器的整合率普遍在10(也就是一臺服務器運行十個應用)以上，這樣能有效降低使用成本。

(3) PaaS平臺即服務Platform-as-a-Service

平臺即服務是指將操作系統、應用開發環境(數據庫、中級間)等平臺級產品以服務的方式提供給用戶使用，通過Pass服務方式，是軟件開發人員或信息系統建設用戶可不購買相應的軟件基礎平臺軟件，實現快速開發和應用部署的需求。

(4) SaaS軟件即服務Software-as-a-service

軟件即服務是隨著互聯網技術的發展和應用軟件的成熟，逐步興起的一種完全創新的軟件應用模式。它是云計算領域發展最成熟、應用最廣泛的服務，它通過網絡直接為用戶提供軟件應用程序的服務方式，這種服務模式大大降低了軟件的使用成本，并且由于軟件是托管在服務提供商服務器上，減少了客戶的管理維護成本，可靠性也更高。

以上四層服務資源，通過統一的資源管理平臺，實現對各類資源的用戶管理、安全管理、設備生命周期等資源的管理，實現需求按需申請，按需計費，快速使用的目標。架構設計圖示：

PC虛擬化架構

圖1 PC虛擬化架構圖

隨著云計算技術的發展，虛擬化技術已成為有效解決提升服務器資源使用率、降低后期運營成本等問題的有效利器。通過虛擬化技術屏蔽了不同服務器的硬件差異，可以在一臺物理服務器上安裝多套操作系統及應用服務，并結合虛擬化的服務高可用技術和動態分區遷移技術，還可以極大地提升系統的高可靠性。

通過PC虛擬化的部署，南鋼私有云具備了提供云服務之“基礎設施即服務”的基本要求，2014年形成的系統架構可作為南鋼的x86服務器云平臺的基礎，是南鋼“1+X”項目規劃與架構設計理念的基礎。服務器虛擬化建設后，為南鋼提供平穩高效的企業私有云服務，構建基于開源軟件TOMCAT集群，對南鋼子公司鑫武海運，三金地產、金貿公司提供了基礎設施到軟件層面的服務，實現了以下目標：

• 實現服務器6:1整合，提高服務器平均使用效率，降低包括耗電量、機房、機柜、冷氣空調等各項運營成本;
• 利用虛擬化的動態遷移以及高可用技術，提供系統運營效率，實現計劃性維護作業零停機;
• 利用服務器的虛擬化技術實現軟件應用系統的投資保護，不再擔心舊系統的兼容性、維護和升級等一系列問題;
• 建立南鋼私有云基礎，旨在全面實現對南鋼各類x86平臺的應用系統提供支持和服務。

企業開源云存儲架構：

開源云存儲是實現云計算系統架構中的一個重要組成部分。隨著信息技術的不斷發展，企業數據規模日益膨脹。由于傳統的SAN (Storage Arew Network) 或NAS(Network Attached Storage) 存儲技術在存儲容量和可擴展性上存在瓶頸，并且在硬件設備的部署數量上也存在一定限制，這使得企業升級系統的成本大大增加。開源云存儲采用可擴展的分布式文件系統，并使用廉價的PC機來進行系統部署，從而使得整體存儲架構能夠保持極低的成本。

南鋼2016年針對當前非結構化存儲空間需求量大，傳統商業存儲資金投入大，圍繞建立低成本、高性能、高擴展的存儲解決方案開展了對分布式文件系統的開源云存儲架構的研究和部署工作，該架構目前可適用非結構化數據的存儲，如：云盤、圖片或視頻的存儲;或與SAN存儲結合，做為近線存儲或備份系統使用。

建立在集群上的MFS分布式文件系統能夠統一管理大量物理資源，并將這些資源虛擬化為巨大的虛擬化資源池，有效地將大規模的計算資源以可靠服務的形式提供給用戶。MFS以服務的形似提供存儲，利用資源的思想和效用計算非常相似，基于計算資源的使用量付費，資源可以被看成一種計量服務，可以對外租售。MFS分布式存儲以集群為基礎，可以提供最大限度的靈活性和可伸縮性，可以幫租用企業節約硬件購置成本，維護資源成本，節約機房用電成本。

云存儲、通訊及消息、業務運行系統和軟硬件基礎資源這四個基本要素構成了一個面向終端用戶的操作系統平臺，或稱為企業云存儲，其能夠通過各種瀏覽器或手機App及PC機隨時訪問，滿足用戶在任意時刻查看信息的需求。

采用MFS(Distributed File System)分布式文件系統的存儲方式，實現數據層面的共享。包括主控服務器(同時配置備用主控服務器以便在故障時接管服務)，多個數據服務器(存儲節點)，前端接入終端服務消息平臺及各業務子系統數據庫服務器。

主控服務器Master負責維護整個文件系統的命名空間與路由，以提供用戶使用。該分布式系統架構最大的缺點是主控服務器為單點結構，一旦出現故障將造成全系統癱瘓，故在實際應用中采用HA等容災備份，以便在故障時接管服務。主控服務器的命名空間結構采用目錄樹結構，建立元數據到數據服務器的映射關系，文件之間的關系等。為了提高檢索效率，可以采取元數據內存化管理方式。主控服務器通過心跳線方式輪詢數據服務器(DS)，當發現有DS宕機時，對一些副本數不足的文件(塊)執行復制計劃，也可根據DS數量增減需要執行副本遷移任務。

數據服務器主要解決海量數據的低成本存儲和快速檢索，提高數據存儲的安全性問題。其解決方案是將大塊數據劃分為小數據塊，然后均勻分布到多臺數據服務器上，每個數據服務器存儲的文件數量就少了，對于大文件數據的處理方法是將大文件劃分成多個相對較小的片段存儲在多個數據服務器上，把單個數據服務器上存儲的文件數降到單機能解決的規模，以此降低存儲設備成本和提高效率，并通過多副本復制來提高數據安全性。

MFS分布式開源云存儲解決了海量數據的存儲問題，它既可以提供專業的存儲解決方案，又可以獨立發布存儲服務。云存儲將存儲作為服務，它將分別位于網絡中不同位置的大量類型各異的服務器，設備通過集群應用、網格技術和分布式文件系統等集合起來協同工作，通過應用軟件進行業務管理，并通過統一的應用接口對外提供數據存儲和業務訪問功能。在使用一個獨立的存儲設備時，我們需要了解該設備的型號、接口以及該設備所使用的傳輸協議;使用開源云存儲，則不存在上述問題。對用戶來說，云存儲系統中的所有設備都是透明的，用戶不必關心云存儲系統內部是如何實現的，也無需了解存儲的提供方式和底層基礎，任何一個授權用戶都可以通過網絡來使用云存儲系統提供的數據存儲和業務訪問服務。

網絡虛擬化架構

南鋼網絡虛擬化架構采用的是VSS+Stack+ethChannal的模式，利用VSS集群+Stack堆疊+ethChannal聚合技術對原有網絡架構進行了優化，簡化了整體網絡結構，提高了網絡性能，降低了運維復雜度，提升了整體網絡的健壯度，給各類業務帶來前所未有的敏捷體驗。

在構建網絡虛擬化架構之前，原有南鋼網絡存在很多的問題及不足：

(1) 核心節點設備雖部署了雙機，但采用的是HSRP冗余配置，不支持虛擬化，造成：

• 數據轉發過程中只有一臺設備在工作，另外一臺設備處于備用狀態且造成核心節點之間、不同層級之間的鏈路無法聚合。
• 主備機運行模式，網絡中存在較多的STP應用，計算資源和鏈路資源浪費嚴重，且發生宕機切換時會造成網絡丟包，實時性無法保證。

(2) 核心層網絡結構為風車形，架構冗雜，不夠簡單、清晰，造成：

• 構架復雜，動態路由協議表項龐大，影響設備效能，且造成故障和問題定位不夠快速，運維效率低下。
• 分布層設備上聯，采用三層路由接口且連接核心主備機，涉及到較多的IP子網，全網路由比較多。

(3) 無專用數據中心網絡，還是傳統的利用園區核心交換機提供對外服務，將無法適應新業務形態下數據中心內部數據交換劇增的趨勢，且對外提供服務能力有限，嚴重影響新業務的快速上線。

VSS和Stack作為一種網絡設備虛擬化技術，具有很強的橫向整合作用，即在不改變網絡物理拓撲連接條件下，將網絡同一層的多臺設備橫向整合虛擬化為一臺設備，不僅摒棄了復雜的二層雙上行鏈路加環網協議的組網，提高了網絡故障的收斂時間，從邏輯上簡化了網絡架構同時也簡化了網絡的管理成本。南鋼具體的應用手段如下：

(1) 園區網

將每個核心節點機房部署的核心交換機雙機利用VSS虛擬成一臺邏輯設備;辦公區分布層網絡利用Stack整合為一個整體，同時核心層之間、分布層與核心層之間的鏈路通過ethChannal技術聚合為單條鏈路，降低設備三層互聯的IP子網數量和全網路由條目，減少三層設備動態路由協議IP路由表大小，提高三層轉發的效率。另外，對現有核心節點進行優化，將公司一煉鐵核心節點機房功能下移，作為一個區域匯聚點，不再擔任核心節點角色。通過上述措施可充分簡化現有網絡結構，使雙機、多鏈路能同時工作，有效發揮設備的效能，提高數據轉發和運維效率，最終提升整個網絡的健壯度。

(2) 數據中心

在云計算時代下，數據中心內部一般采用分布式架構處理海量數據存儲、挖掘、查詢、搜索等相關業務，服務器和服務器之間需要進行大量的協同工作，在數據中心內部產生了大量的東西向流量，造成傳統數據中心南北向流量模型向云數據中心的東西向流量模型轉變，數據中心的流量模型不再是傳統數據中心的收斂模型。另外，數據中心普遍采用虛擬化技術，虛擬化使單位計算密度極大提升，物理服務器吞吐量將比虛擬化之前成數倍提升，且為了更大幅度地增大數據中心內業務可靠性、降低 IT成本、提高業務部署靈活性，需要虛擬機能夠在整個數據中心范圍內進行動態遷移。

南鋼在信息公司核心節點機房和計能處核心節點機房各部署了2臺數據中心級框式核心交換機;每個機柜內部各部署2臺數據中心級盒式接入交換機。利用VSS將2個機房共4臺核心交換機遠距離連接并虛擬成1臺邏輯設備，實現主數據中心和災備數據中心核心網絡在控制層面的統一且兩地之間實現100Gbps級別的高速互聯，保證2個數據中心之間的無縫銜接;利用Stack將每個機柜的2臺接入交換機各虛擬成1臺邏輯設備，每個邏輯接入設備通過ethchannal鏈路聚合上聯邏輯核心設備，上聯鏈路速率高達40Gbps。通過VSS+Stack+ethChannal以及高性能數據中心級交換機構建出無間斷、無阻塞、無損的數據中心網絡，滿足高速率、高效率數據中心內部數據交換需求，同時數據中心網絡整體的架構健壯度以及對外服務能力大幅提升。另外，利用業界最高的4:1虛擬化技術組建跨數據中心無阻塞的大二層網絡，支持10GE/100GE服務器的混合接入組網，保證虛擬機的大范圍遷移以及用戶業務的靈活部署和不間斷。

4. 南鋼企業云未來的規劃

隨著云計算業務的迅猛發展，企業級云服務業務衍生出兩種模式，即“收入導向型”與“流量導向型”，與之對應的分別為“傳統政企托管服務”和“互聯網內容引入”。傳統的政企托管服務通常是托管企業IT數據中心，包括各種類型的IT設備，小型機、機架/刀片服務器、PC服務器、存儲盤陣等，該數據中心面向企業內部員工或企業產品的客戶，訪問量較小;此類型服務主要注重企業云服務的服務的質量，以及系統和數據安全性，通常對價格不是很敏感。并且該類服務屬地化要求極強，一般要求托管IT系統與企業在同一地市，除異地災備外基本不可能跨省提供服務。而“互聯網內容引入”模式主要托管互聯網應用系統、面向公眾互聯網用戶，訪問量和流量均很大。有規模大、訪問用戶多、注重網絡帶寬及網絡連接的穩定性、非常注重單價格和成本等特點。

通過對比可以看出，“政企托管服務”與“互聯網內容引入”在表現形式、服務特點、屬地化要求等方面均有不同之處：

• “政企托管服務”模式，客戶更注重服務質量，屬地性強，因此可依托各地市機房，提供滿足政企和傳統行業客戶需求的高質量IDC服務。(互聯網數據中心服務)
• 互聯網內容引入模式應以流量為導向，注重低成本，并以適合以大規模、集中化的方式提供服務 。
• 通過分析可以看出企業對云計算技術的要求從單純的降低成本變得更加以客戶為導向。

在信息化飛速發展的大背景下，公司非常重視信息化的發展。在 “一體三元五驅動”發展戰略的指引下，信息技術產業不斷壯大，公司以市場需求為導向，以自主研發為基礎，以科學管理為手段，努力發揮公司兩化融合優勢、并持續引進新技術，學習、掌握并消化，形成自己的企業云體系。在未來的3~5年，計劃完成3S服務打造：即制造應用服務、移動應用服務和數據分析服務，為用戶提供卓越體驗、優質服務。使公司成為云服務領域的一流企業。

經過十多年的實踐積累，公司形成了存儲虛擬化+計算虛擬化+安全防護三位一體的企業私有云體系，通過存儲虛擬化將存儲池化。

公有云方面，近期目標：提升云主機的服務能力，完成基礎準備工作，完善技術保障建設。通過與公有云廠商合作，以輕資產模式構建完整的云上數據中心，提供快速交付的、可計量的彈性資源;隨后，基于構建的公有云平臺，建立共享區、災備區、測試區。結合實際場景按需非配，構建南鋼特有的公有云+私有云+共享云+災備云+測試云的混合云架構。

中期目標：具備中小型制造型企業的SaaS服務能力。云時代的到來，一切的基礎設備、IT架構、運維管理、解決方案都將以服務的形式交付。中期目標是打造SaaS服務能力，讓公司業務部門只需要專注于業務創新需求，不需擔心架構的影響。

遠期目標：3~5年完成3S服務打造：即制造應用服務、移動應用服務和數據分析服務，為用戶提供卓越體驗、優質服務。

具體措施

(1) 概述：

數據中心(Data Center DC) 是數據大集中而形成的集成ICT應用環境，是數據計算、網絡傳輸、 存儲的中心，已成為支撐企業業務運營的最關鍵基礎設施。在云計算時代，如何構建支撐云業務長期發展的數據中心基礎架構，是各大企業和運營商的核心關注點。

在本次數據中心架構規劃中，將敏捷做為本次規劃的核心目標。如何實現數據中心對應用需求的快速響應，如何保障數據中心的數據安全和如何提升數據中心的故障恢復能力，都是規劃需要考慮的問題。結合以上目標，在敏捷數據中心的規劃中，采用面向云計算的設計思想，使用“池”的概念設計整個數據中心系統，將云數據中心分為三個資源池：網絡池、存儲池和計算池，每個池均可實現動態的資源調整，按需供給和分配資源。

a. 網絡池(已建立)

網絡池是指數據中心的各種網絡通信設施，基于統一的高線速、低延時、無丟包的萬兆網絡交換架構設計，并針對虛擬化的網絡安全進行統一管理，使網絡系統得到更好的優化和加固。

b. 存儲池(本年度建立)

存儲池是指將數據中心的各類存儲資源，利用相關技術，實現所有的存儲資源對外模擬為一個大的完整的存儲池資源，按照用戶存儲需求，在存儲池中進行資源分配，從而提高存儲資源的使用率，提高數據存儲的安全性。

c. 計算池(計劃建立)

計算池是指在數據中心承擔數據運算和用戶響應的計算型資源，主要包括內存、CPU等硬件資源，一般采用服務器虛擬化的形式，構建基于統一計算架構的虛擬化計算平臺。

采用具有動態架構的云計算操作系統，保證數據中心的先進性、安全性、開放性、兼容性、共享性、可升級及擴充性，規劃敏捷數據中心架構如下：

d. 存儲池設計與規劃

在存儲池設計與規劃中，將引入存儲虛擬化和hdfs分布式存儲技術。

• 存儲虛擬化技術：能夠對異構存儲資源進行池化和整合，使系統具備數據安全的、平滑的跨存儲陣列的數據遷移能力，提高使用和管理效率，合理降低TCO;
• 分布式存儲技術：引入是為了滿足大量的非結構化數據(如：視頻、照片、文檔)存儲，構建低成本存儲的最佳解決方案。

e. 計算池設計與規劃

計算池設計與規劃中，除繼續擴展現有已實施的x86服務器虛擬化和power小型機服務器虛擬化技術，達到提高計算資源的使用率，減少在線維護的停機時間目的外，還將引入應用緩存技術和hadoop大數據分析平臺。

• 應用緩存技術：使用緩存主要源于熱點數據的存在，大部分網站訪問都遵循28原則(即80%的訪問請求，最終落在20%的數據上)，所以我們可以對熱點數據進行緩存，減少這些數據的訪問路徑，提高用戶體驗。
• Hadoop大數據分析平臺：hadoop系統是一個開源的大數據生態圈，包括除hadoop系統，還包括Hive、HBase、Storm等眾多NoSQL組件，是傳統的關系型SQL數據庫的補充，適合于非結構化數據的大數據分析和業務處理。

(2) 數據存儲平臺建設

1)存儲虛擬化建設

隨著數據中心在企業發展中扮演的角色越來越重要，數據中心的整合趨勢也是勢在必行，而虛擬化技術使得其在數據中心整合進程中大放異彩。隨著用戶數據中心整合需求的日趨強烈，存儲虛擬化技術在各供應商之間的“壁壘”開始被打破，前端計算資源已可以分配到不同的物理服務器上，進行負載均衡和安全隔離，但數據存儲成為了關鍵單獨故障瓶頸，存在重大安全隱患。存儲虛擬化技術有效的解決了此問題，此外存儲虛擬化技術還對異構存儲資源進行池化和整合，提高存儲資源的使用效率和存儲運維工作的管理效率，合理降低TCO。

此外，存儲虛擬化技術越來越多的被應用于有效提升核心生產系統的業務連續性，數據安全性以及平滑的跨存儲陣列的數據遷移中。

存儲虛擬化技術將整個SAN中的各種存儲設備整合成一個巨大的“存儲池”，使得用戶充分利用存儲資源并可按需分配存儲空間、性能和功能，其主要功能如下：

• 幫助企業用戶構建統一、合理的、高可擴展的存儲架構，解決傳統存儲架構的單存儲故障;
• 統一管理存儲系統，把多個存儲系統整合成單一的存儲池，其兼容市面上常見主機系統和存儲產品;
• 遷移過程無需停機，支持7X24小時業務不間斷運行，遷移過程主機系統和應用不受影響;
• 提供快照、數據復制等功能，做到跨存儲及跨地域的數據保護;
• 采用存儲虛擬化技術可方便的幫助用戶實施分級存儲。

在存儲池構建時，需要引入諸如：IBM SVC或EMC Vplex等存儲虛擬化設備，對南鋼現有的存儲進行整合，并適當新增少量存儲，使存儲資源能夠達到解決存儲層單點故障的問題。

2)分布式存儲建設

分布式存儲技術利用高吞吐率網絡技術為依托，一方面高效地整合管理網絡存儲資源，另一方面對外提供友好的接口，發布便捷的網絡數據存儲服務。

分布式存儲綜合使用了虛擬化、分布式技術、集群應用、網格技術、負載均衡等技術，將網絡中大量的存儲設備通過軟件集合起來高效協同工作，共同對外提供低成本、高擴展性的數據存儲服務。

分布式文件系統具有價值主要包括：

• 高可擴展性：云存儲系統可支持海量數據處理，資源可以實現按需擴展;
• 低成本：云存儲系統應具備高性價比的特點，低成本體現在兩方面， 更低的建設成本和更低的運維成本。硬件投入成本約為同類商用產品價格的1/3。
• 無接入限制：相比傳統存儲，云存儲強調對用戶存儲的靈活支持， 服務域內存儲資源可以隨處接入，隨時訪問;
• 易管理：少量管理員可以處理上千節點和PB級存儲，更高效的支 撐大量上層應用對存儲資源的快速部署需求。

主要應用場景包括：非結構化數據的存儲，如：云盤、圖片或視頻的存儲;與SAN存儲結合，做為近線存儲或備份系統使用。

分布式文件系統的使用，會極大的提高存儲系統的存儲成本和使用安全性。對于南鋼未來大量數據的收集和保存需求，具有非常大的使用價值。

3)建立統一數據備份平臺

現有帶庫備份管理系統一套，采用IBM TSM 5.3，與南鋼ERP系統同步建設，在2007年底運行。主要對ERP系統數據進行備份。但隨著虛擬化技術的使用，現有備份軟件無法對虛擬機備份。此外，配套的硬件設備是IBM TS3310磁帶庫，配備了30個磁帶槽位用于數據備份，預計可備份數據90TB。由于數據備份要保留多版本，且對保留時間有一定要求，因此可用備份磁帶空間不足，目前ERP系統數據僅保留最近20天的備份數據。

(3) 應用t系統優化與完善

1)分布式應用集群環境建設

應用服務運行環境的快速移植、部署和高可用性，一直是IT架構追求的技術方向，應用運行環境從單機到雙機環境，進而演進到集群環境，如今再次邁進分布式集群環境的高度。分布式應用集群環境，可以充分發揮應用系統的快速部署及結構差異化的特性，實現整體基礎架構資源的模塊化管理及有效利用率大幅提升。

公司主要有JAVA和.NET語言開發平臺，產品體系中包含C/S模式基于JAVA語言的移動應用平臺，基于B/S模式的普通JAVA應用平臺，.NET應用平臺。移動應用中船板定制、移動CRM、移動南鋼等系統應時而出，成果顯著。

公司當前的兩大語言產品中，多采用單節點應用+數據庫的傳統網站架構方式，有單點故障的風險。隨著信息系統的大力建設，用戶數量不斷增加，訪問量持續增大，對現有應用架構的高可用、高性能、可擴展性提出了潛在的要求。因此，探索分析大型應用架構的特征，實現公司相關信息系統平臺，向高可用、高性能、易伸縮、可擴展、安全的大型架構漸進持續發展。

a. JAVA應用平臺

公司當前java平臺以小型應用為主，采用單機應用服務，單數據庫實例的發布方式。隨著平臺功能的不斷完善，逐步構建一個高性能、高可用、伸縮性、可擴展、安全的架構，實現符合企業信息化戰略發展的系統架構支撐。主要內容包含：

• 負載均衡——負載均衡技術為一個應用構建一個有多臺服務器組成的服務器集群，將并發訪問請求分發到多臺服務器上處理，避免單一服務器因負載壓力過大而響應緩慢，使用戶請求具有更好的響應延遲特性。負載均衡有硬件和軟件形式。硬件負載均衡設備有F5，軟件負載均衡如LVS、Haproxy、Nginx等。
• 構建集群——集群技術是一組相互獨立的、通過高速網絡互聯的一組計算機，并以單一系統的模式加以管理，通過集群技術，可以在付出較低成本的情況下獲得在性能、可靠性、靈活性方面的相對較高的收益。集群有2個以上的服務器提供相同服務，因此可以提供更好的并發特性，當有更多用戶訪問的時候，只需要相機群中加入新的機器即可，同時因為一個應用有多臺服務器提供，當某臺服務器發生故障時，請求會轉發至集群中其他正常的服務器上，使服務器故障不會影響用戶使用。
• 動靜內容分離——動靜分離是讓動態網站里的網頁根據一定規則把不變的資源和經常變的資源區分開來，動靜資源做好了拆分以后，我們就可以根據靜態資源的特點將其做緩存操作，實現訪問加速。
• 緩存技術——緩存是將數據存放在距離計算機最近的位置以加快處理速度。緩存是改善軟件性能的重要手段，緩存除了可以加快數據訪問速度，還可以減輕后端應用、數據庫的負載壓力。因此，可以根據我們各平臺的特點，合理引用緩存技術，改善系統性能。
• 高可用數據——創建數據庫集群，避免單點故障的同時提高數據庫性能。

總體部署圖

b. 移動應用平臺

針對公司的移動應用平臺，應用服務為單點故障源。隨著移動應用的大力建設，用戶數量不斷增加，訪問量持續增大，對現有移動應用架構的高性能，可擴展性提出了潛在的要求。因此，在未來有需求的項目中引入緩存層，包括數據庫緩存、文件緩存等技術。進一步提升移動應用的可靠性、可用性。并以數據云平臺為基礎支持，通過負載均衡云計算的技術，實現系統性能、資源的最優化調度，為用戶提供7*24小時不間斷的高效優質服務。

利用緩存系統改善網站性能：

使用緩存主要源于熱點數據的存在，大部分網站訪問都遵循28原則(即80%的訪問請求，最終落在20%的數據上)，所以我們可以對熱點數據進行緩存，減少這些數據的訪問路徑，提高用戶體驗。Memcached 是一個高性能的分布式內存對象緩存系統，用于動態Web應用以減輕數據庫負載。它通過在內存中緩存數據和對象來減少讀取數據庫的次數，從而提高動態、數據庫驅動網站的速度。Redis 是一個高性能的key-value數據庫。和Memcached類似，它支持存儲的value類型相對更多，與memcached一樣，為了保證效率，數據都是緩存在內存中。Redis的出現，很大程度補償了memcached這類key/value存儲的不足，在部分場合可以對關系數據庫起到很好的補充作用。

c. NET應用平臺

借力公司對外轉型發展的契機，.NET平臺的架構需求日益增長，實現架構平臺的高效、穩定、可靠，方能為公司的發展提供強有力的技術支撐。

當前.NET平臺應用多采用基于單機的服務器管理模式，經歷多年的項目建設，單臺應用服務器上發布了多個關鍵應用。單臺服務器都可以對多個應用提供服務，能夠滿足我們的內部需求。單機應用毫無疑問有單點故障的風險，所建立的災備系統無法實時在線備援，依舊需要人為干預。根據公司.NET平臺的特點，適宜采用反向代理創建集群的架構。

利用反向代理增強系統性能：

反向代理是處在web前端的服務，可以實現負載均衡的功能，通過負載均衡構建的應用集群可以提高系統總體處理能力和伸縮能力。此外當用戶請求達到時首先訪問反向代理服務器，反向代理服務器將緩存的數據返回給用戶，如果沒有緩存數據則會繼續走應用服務器獲取，減少了獲取數據的成本。進而改善網站高并發情況下的性能。

創建集群提高應用服務可用性：

在前端引入反向代理系統，將冷備系統激活起來，事實上形成水平上的擴展，以負載均衡集群的方式對外提供服務。形成一個可靠、安全、可伸縮、易維護的應用平臺。同時在未來當某些應用訪問量升高時，通過增加服務器節點達到整個服務器集群的性能提高，使其他應用也會受益。

2)綜合數據服務平臺建設

傳統的數據庫系統是關系型數據庫，這些數據庫已經在我公司的MES系統、ERP系統中得到了廣泛應用。開發這種數據庫的目的是處理永久、穩定的數據。關系數據庫強調維護數據的完整性、一致性。傳統關系數據庫為了保證“通用性”的設計而帶來了功能復雜，性能開銷大，價格昂貴

當今的數據處理大致可以分成兩大類：聯機事務處理OLTP(on-line transaction processing)、聯機分析處理OLAP(On-Line Analytical Processing)。OLTP是傳統的關系型數據庫的主要應用，主要是基本的、日常的事務處理，例如銀行交易。OLAP是數據倉庫系統的主要應用，支持復雜的分析操作，側重決策支持，并且提供直觀易懂的查詢結果。

a. OLTP數據庫

也稱為面向交易的處理系統，其基本特征是顧客的原始數據可以立即傳送到計算中心進行處理，并在很短的時間內給出處理結果。

這樣做的最大優點是可以即時地處理輸入的數據，及時地回答。也稱為實時系統(Real time System)。衡量聯機事務處理系統的一個重要性能指標是系統性能，具體體現為實時響應時間(Response Time)，即用戶在終端上送入數據之后，到計算機對這個請求給出答復所需要的時間。典型性數據庫代表為：ORACLE、DB2、SQLServer、MYSQL等常用關系型數據庫。

b. OLAP數據庫

隨著數據的積累，用戶的查詢需求也越來越復雜，涉及的已不僅是查詢或操縱一張關系表中的一條或幾條記錄，而且要對多張表中千萬條記錄的數據進行數據分析和信息綜合，傳統關系型數據庫系統已不能全部短時間內響應數據處理的復雜查詢要求。因此數據倉庫的出現，專門設計用于支持復雜的分析操作，側重對決策人員和高層管理人員的決策支持，可以根據分析人員的要求快速、靈活地進行大數據量的復雜查詢處理。在數據倉庫的設計中使用到了諸多提高數據查詢性能的特性，諸如：列式存儲、數據壓縮、數據分區等技術，這些技術的使用都有利于提高數據的處理分析速度。典型性數據倉庫產品有SAP HANA、HP Vertical、IBM Netezza等。

傳統關系數據庫已可解決傳統的數據分析與數據挖掘工作。但隨著傳感器的廣泛使用，數據采集更加方便，這些傳感器會連續地產生數據，如實時監控系統、數據采集、圖像標識等。這些數據最大的特點就是海量，因為它們每時每刻連續不斷地產生，但與其他的海量數據不同，流數據連續有序、變化迅速，而且對處理分析的響應度要求較高，因此對于流數據的處理和挖掘往往采用不同的方法。傳統的關系型數據庫并不能夠很好地解決海量數據帶來的問題，單機的統計和可視化工具也變得力不從心。一些新的數據管理系統如并行數據庫、網格數據庫、分布式數據庫、云平臺、可擴展數據庫等孕育而生，它們為解決海量數據提供了多種選擇。

c. NoSQL數據庫:

NoSQL(NoSQL = Not Only SQL)，指的是非關系型的數據庫。非關系型數據庫以鍵值對存儲，它的結構不固定，每一個元組可以有不一樣的字段，每個元組可以根據需要增加一些自己的鍵值對，這樣就不會局限于固定的結構，可以減少一些時間和空間的開銷。它們可以處理超大量的數據。它們運行在便宜的PC服務器集群上。PC集群擴充起來非常方便并且成本很低，避免了“sharding”操作的復雜性和成本。它們擊碎了性能瓶頸。通過NoSQL架構可以省去將Web或Java應用和數據轉換成SQL格式的時間，執行速度變得更快。典型性數據庫代表為HBASE、HIVE等。

3)大數據分析平臺建設

當前基于公司成熟的業務信息系統(ERP、MES、EMS等)，利用SAP及HANA數據庫軟件建立數據中心和數據倉庫，自動提取各類異構數據并進行集中展示。隨著公司信息系統的大量應用，系統中存儲了大量的圖片，文檔，音頻等非結構化數據，這些非結構化數據的存儲和查詢對傳統計算機系統來說是個巨大的挑戰，普遍存在查詢慢，管理手段復雜的問題，集中存儲、集中計算無法處理巨大的數據量，無法實現高并發，實時獲取和更新數據。此外現有架構也無法實現快速的橫向擴展能力。通過采用Hadoop架構，為公司大數據的有效應用，為云計算的落地提供支撐。去年實現了大數據分析的架構搭建，利用3臺PC服務器進行Hadoop環境的部署和實施，部署簡單易于操作，恢復實施都很快。現階段將ERP系統每日產生的GB級 access.log 文件數據上傳至HDFS，提取并抽入到Hbase，利用Hive對作業訪問從高到底進行統計，歸納出系統中使用度最重Top50，以及使用度最輕的作業Top50，為后續公司的信息化再提升，提供依據。

眾所周知Hadoop的兩大核心是分布式文件系統HDFS和分步計算MapReduce, MapReduce 包括Map過程實現任務的分解，Reduce實現計算結果的匯總。HDFS通過Namenode實現文件的管理，通過DataNode實現文件的存儲。HDFS 是一個高度容錯性的分布式文件系統，它能夠提供高吞吐量的數據訪問，通過NameNode來管理存儲文件系統的Meta-Data，負責管理文件系統的命名空間，集群的配置信息，通過把文件分塊存儲在不同的DataNode中，來實現數據的分布存儲。通過MapReduce，先把任務分割分布到集群的多個節點上，并行計算，然后再把計算結果合并，得到最終的計算結果。多節點計算所用到的任務調度，負載均衡，容錯等都由MapReduce自動完成。在十三五期間，我們豐富數據服務平臺內容，為全面數據分析，智能制造的敏捷響應系統提供數據平臺支持。下圖就是數據平臺覆蓋范圍與分類設計圖

戳這里，看該作者更多好文