什么是軟件定義存儲(SDS)

軟件定義存儲(Software-defined storage，SDS)是一種數(shù)據(jù)存儲方式，所有存儲相關(guān)的控制工作都放置在相對于物理存儲硬件的外部軟件中。這個軟件不是作為存儲設(shè)備中的固件，而是在一個服務(wù)器上或者作為操作系統(tǒng)(OS)或hypervisor的一部分。

軟件定義存儲是行業(yè)發(fā)展的趨勢，可以保證系統(tǒng)的存儲訪問在精準(zhǔn)的水平上更靈活地管理，將軟件從硬件存儲中抽象，這意味著它可以變成一個不受物理系統(tǒng)限制的共享池，以便更有效地利用資源。存儲也可以通過軟件和管理進(jìn)行部署和供應(yīng)，其管理程序可以通過基于策略的自動化管理來進(jìn)一步簡化。

軟件定義存儲有什么特點(diǎn)

• 可擴(kuò)展。軟件定義存儲系統(tǒng)可以擴(kuò)展到幾百臺甚至幾千臺的集群規(guī)模，而且，隨著集群規(guī)模的增長，系統(tǒng)整體性能表現(xiàn)為線性增長
• 低成本。軟件定義存儲系統(tǒng)的自動容錯、自動負(fù)載均衡機(jī)制使其可以構(gòu)建在普通X86服務(wù)器之上。另外，線性擴(kuò)展能力也使得增加、減少機(jī)器非常方便，可以實(shí)現(xiàn)自動運(yùn)維。
• 高性能。無論是針對整個集群還是單臺服務(wù)器，分布式存儲系統(tǒng)具備高性能。

傳統(tǒng)的IT架構(gòu)模式：

一直以來，傳統(tǒng)架構(gòu)的數(shù)據(jù)庫運(yùn)行在小型機(jī)和集中式SAN存儲上。隨著業(yè)務(wù)的高速發(fā)展，業(yè)務(wù)系統(tǒng)的交易量及數(shù)據(jù)量越來越大，對業(yè)務(wù)系統(tǒng)的處理能力及存儲能力要求越來越高。而傳統(tǒng)的架構(gòu)擴(kuò)展性差，計算能力有限，IO能力嚴(yán)重不足，如需達(dá)到相應(yīng)的處理能力，則需要用更高配置的小型機(jī)和更高端存儲來代替現(xiàn)有的小型機(jī)和存儲，技術(shù)復(fù)雜，代價昂貴。同時，隨著設(shè)備的老化，設(shè)備性能越來越不足以支撐業(yè)務(wù)需要，業(yè)務(wù)系統(tǒng)的架構(gòu)改造和升級勢在必行。

傳統(tǒng)架構(gòu)的一些劣勢：

數(shù)據(jù)量：M級–>G級–>T級->海量已在眼前

數(shù)據(jù)量*用戶量–>關(guān)系用戶量：幾萬–>幾十萬–>幾百萬–>互聯(lián)網(wǎng)全開放

關(guān)系型數(shù)據(jù)庫之痛

中心化的存儲系統(tǒng)成為 I/O 存取的瓶頸:

1、傳統(tǒng)架構(gòu)的數(shù)據(jù)庫節(jié)點(diǎn)需要高性能主機(jī)，成本高。對于多節(jié)點(diǎn) RAC 數(shù)據(jù)庫，由于節(jié)點(diǎn)間的通信帶 寬通常為 1Gb s，較高的為 10Gb s，這個數(shù)量級的帶寬使得節(jié)點(diǎn)間 的并發(fā)處理能力沒有充分利用。同時，傳統(tǒng)的磁盤陣列受限于控制器的處理能力和 FC 端口帶寬，IO 吞吐量通常只能幾百M(fèi)B/s，在數(shù)據(jù)庫要求大量的磁盤讀寫時，IO 消耗的時間過長。

2、小型機(jī)配高端存儲，成本高昂，相對比較封閉，擴(kuò)展能力差:傳統(tǒng)架構(gòu)的存儲擴(kuò)展能力較差，在容量增加時，性能沒有相應(yīng)提高。同時擴(kuò)容成本高，擴(kuò)容周期長。

3、復(fù)雜的系統(tǒng)帶來部署及操作、運(yùn)維和管理的復(fù)雜性:在傳統(tǒng)架構(gòu)下，需要了解多維度的運(yùn)維知識和技能，如:數(shù)據(jù)庫、U ix、存儲等，對運(yùn)維人員要求極高，部署及操作、運(yùn)維和管理異常復(fù)雜。

IT基礎(chǔ)架構(gòu)發(fā)展趨勢

IT架構(gòu)的演變-煙囪狀到云化

兩層的計算-存儲架構(gòu)有以下缺陷：

• 中心化的存儲系統(tǒng)
• IO存取邊界，擴(kuò)展成本高昂
• 部署與運(yùn)維復(fù)雜
• 不能快速應(yīng)對IT人員資源需求

基于云化的高性能高可用架構(gòu)的優(yōu)勢：

• 高性能
• 彈性,可靈活多維動態(tài)擴(kuò)展
• 統(tǒng)一運(yùn)維管理，完善數(shù)據(jù)容災(zāi)及保護(hù)

將帶來IT基礎(chǔ)設(shè)施性能的提升，x86平臺CPU性能提升。過去的10 年， CPU 處理速度提升8-10倍;DRAM 處理速度提升7-9倍。

存儲和網(wǎng)絡(luò)的發(fā)展

針對IT基礎(chǔ)架構(gòu)的發(fā)展和IT基礎(chǔ)設(shè)施的發(fā)展，以x86服務(wù)器為基礎(chǔ)、使用閃存卡、Infiniband交換機(jī)可以使Oracle RAC達(dá)到很高的處理能力和IO吞吐量的分布式存儲方案zData應(yīng)運(yùn)而生。

zData軟件定義存儲基于x86的PC服務(wù)器，在大幅度提升系統(tǒng)性能，保持系統(tǒng)的擴(kuò)展性和敏捷響應(yīng)能力的情況下，成本相對于傳統(tǒng)架構(gòu)還大大降低。zData Light Storage分布式存儲軟件可支持上千個節(jié)點(diǎn)，存儲池容量可以達(dá)到32PB。支持不同存儲介質(zhì)構(gòu)成的存儲資源池。在基礎(chǔ)配置(3個存儲節(jié)點(diǎn))下，高達(dá)數(shù)百萬IOPS，吞吐量超過20GB/s 。

實(shí)施方式：

1.用戶可以自購硬件或利舊。

2.云和恩墨提供zData軟件及服務(wù)，包括性能及容量規(guī)劃，zData***實(shí)踐，數(shù)據(jù)庫遷移及優(yōu)化，整體維保。

方案價值：

1.標(biāo)準(zhǔn)的x86開放架構(gòu)，方案靈活方便。

2.無需采用高端小型機(jī)及高端存儲，建設(shè)及擴(kuò)容性價比極高。

產(chǎn)品構(gòu)造：

zData Light Storage存儲管理軟件

zData Light Storage是云和恩墨自主研發(fā)的分布式存儲管理軟件，是一套靈活的軟件定義存儲軟件，它充分利用基于PC服務(wù)器的內(nèi)部直連式存儲來創(chuàng)建一個虛擬的、可擴(kuò)展的存儲池，性能大大優(yōu)于外部傳統(tǒng)光纖通道SAN，而成本和復(fù)雜性成倍降低。在zData中，通過zData Light Storage存儲管理軟件可以將高性能的x86服務(wù)器作為存儲節(jié)點(diǎn), 從而可以將多個存儲節(jié)點(diǎn)的內(nèi)部磁盤資源整合起來形成虛擬的SAN存儲資源池，在數(shù)據(jù)庫節(jié)點(diǎn)(計算節(jié)點(diǎn))上安裝zData Light Storage客戶端就可以使用其中虛擬SAN。zData Light Storage支持Infiniband網(wǎng)絡(luò)下的RDMA協(xié)議,大幅減少CPU占用的同時能夠顯著降低IO訪問延遲,具有無可比擬的性能優(yōu)勢 zData Light Storage支持主流存儲介質(zhì)，包括PCIe、NVMe、SAS、SATA等接口的SSD盤和卡以及SAS、SATA接口的傳統(tǒng)機(jī)械硬盤。

Infiniband網(wǎng)絡(luò)

zData基于40~100GbInfiniband高速網(wǎng)絡(luò)，采用全冗余網(wǎng)絡(luò)架構(gòu)，一方面可以提供足夠的帶寬承載 zData LightStorage存儲管理軟件的數(shù)據(jù)傳輸，使其性能大幅優(yōu)于外部傳統(tǒng)FC SAN,且成本和復(fù)雜性成倍降低;另一方面為Oracle RAC集群的高性能讀寫提供了保障。

zData智能管理工具zMan

根據(jù)云和恩墨在Oracle數(shù)據(jù)庫領(lǐng)域的專業(yè)知識和強(qiáng)大團(tuán)隊，研發(fā)了人性化的管理和運(yùn)維工具zMan(zData Manager),zMan為zData提供智能方便一鍵化的安裝，部署，管理功能，極大的降低了管理和運(yùn)維的成本并在管理功能上為用戶提供更簡單便利友好的操作體驗。

云和恩墨zData軟件定義存儲有以下的特點(diǎn)：

高性能

存儲節(jié)點(diǎn)和計算節(jié)點(diǎn)通過高速40~100Gb的Infiniband網(wǎng)絡(luò)互聯(lián)，每個連接的鏈路均可進(jìn)行存儲數(shù)據(jù)傳輸。通過zDataLight Storage存儲管理軟件，在使用閃存卡的情況下，可以使單存儲節(jié)點(diǎn)提供IO吞吐量達(dá)到12GB/s以上，IOPS(每秒磁盤IO請求次數(shù))可以達(dá)到40萬以上，磁盤訪問延遲在0.6ms以內(nèi)。單計算節(jié)點(diǎn)上的IO吞吐量達(dá)到12GB/s以上，IOPS(每秒磁盤IO請求次數(shù))可以達(dá)到100萬以上，磁盤訪問延遲在0.6ms以內(nèi)。存儲的三項關(guān)鍵能力是傳統(tǒng)陣列的10倍以上。

• 多維動態(tài)擴(kuò)展

在zData軟件定義存儲架構(gòu)中，可以根據(jù)業(yè)務(wù)和應(yīng)用的需求動態(tài)擴(kuò)展計算節(jié)點(diǎn)和存儲節(jié)點(diǎn)，容量和性能線性增長。同樣，也可以根據(jù)業(yè)務(wù)和應(yīng)用的需求動態(tài)減少計算和存儲節(jié)點(diǎn)，保證資源的***可用度

• 資源的池化&云化

在zData軟件定義存儲架構(gòu)中，計算資源和存儲資源池化，統(tǒng)一管理,按需分配擴(kuò)展。

• 架構(gòu)和軟件的安全性和可靠性

在zData軟件定義存儲中，服務(wù)器，Infiniband交換機(jī)，Infiniband HCA卡及PCIe閃存卡等均冗余，任何一個設(shè)備和節(jié)點(diǎn)出現(xiàn)故障，均不影響在線業(yè)務(wù)的可用性，無單點(diǎn)故障。同時，zData存儲管理軟件自動管理和維護(hù)存儲資源，當(dāng)分布式存儲網(wǎng)絡(luò)中有節(jié)點(diǎn)損壞，或移動增加存儲節(jié)點(diǎn)，zData存儲管理軟件會在已有的或完好的節(jié)點(diǎn)上重構(gòu)完好的存儲“塊”，使得每一份存儲“塊”仍然有鏡像，保證數(shù)據(jù)的安全性，重構(gòu)速度每小時可達(dá)2TB，可在線自動操作，無需人工干預(yù)和不影響在線業(yè)務(wù)。

• 統(tǒng)一運(yùn)維管理，提高資源利用率

整個zData的資源通過zdata管理平臺統(tǒng)一管理，自動化運(yùn)維，大大降低對IT管理人員技能要求。

zData zCache

云和恩墨zData軟件定義存儲獨(dú)有的智能緩存工具zCache，提供以下功能：

• 支持writeback和直通模式

• 支持在線啟動和關(guān)閉cache

• 支持自動/手動刷新臟數(shù)據(jù)

• 支持臟塊的刷新頻率和速度動態(tài)的控制

zdata軟件定義存儲的應(yīng)用場景及優(yōu)勢：

1、數(shù)據(jù)倉庫和報表(OLAP)類系統(tǒng)：這類系統(tǒng)的數(shù)據(jù)庫對IO性能要求非常高，存儲容量擴(kuò)容需求大，但是對可用性、容災(zāi)要求不高。這類系統(tǒng)在企業(yè)應(yīng)用中屬于核心系統(tǒng)之外的次重要系統(tǒng)，如果購買***端的大容量集中存儲，成本很高。這類系統(tǒng)是zData軟件定義存儲解決方案的***使用場景。

2、聯(lián)機(jī)事務(wù)處理(OLTP)類系統(tǒng)：這類系統(tǒng)對實(shí)時性，并發(fā)性要求很高，對數(shù)據(jù)操作頻繁，相應(yīng)對CPU及IO要求很高。由于zData軟件定義存儲解決方案能提供充足的計算能力及顯著降低IO延遲，這類系統(tǒng)也是zData軟件定義存儲解決方案的***使用場景。

3、數(shù)據(jù)庫云化和整合：一些大型企業(yè)，數(shù)據(jù)庫數(shù)量多，需要將很多不重要的數(shù)據(jù)庫整合起來，減少運(yùn)維復(fù)雜度和減少成本。使用zData軟件定義分布式存儲解決方案構(gòu)建數(shù)據(jù)庫云化和整合平臺，提高系統(tǒng)整合后的性能，增加系統(tǒng)的彈性(便于擴(kuò)容)，并且使用zMan軟件定義存儲管理工具，讓用戶易于維護(hù)整合后的系統(tǒng)。zData支持OpenStack和VMware平臺的云化和管理。

4、X86架構(gòu)下的數(shù)據(jù)庫備份容災(zāi)：適用于很多傳統(tǒng)X86架構(gòu)的數(shù)據(jù)庫系統(tǒng)建立以zData軟件定義分布式存儲為核心的低成本，高效率的備份及容災(zāi)平臺。

下面，我分享以下目前一些zdata軟件定義存儲的成功案例

zData方案在多個企業(yè)和單位有過***實(shí)踐,以其高計算能力、高 I/O 能力、高可用能力、高可伸縮能力且***穩(wěn)健性的分布式存儲架構(gòu)，是具有高并發(fā)高IO需求的系統(tǒng)的***選擇。在過去的實(shí)踐中也得到證實(shí)和認(rèn)可。

貴州交警

貴州交警某業(yè)務(wù)系統(tǒng)隨著系統(tǒng)應(yīng)用的深入和廣泛，原有基礎(chǔ)架構(gòu)、數(shù)據(jù)架構(gòu)規(guī)劃和設(shè)計上的問題逐漸凸現(xiàn)出來，主要表現(xiàn)為業(yè)務(wù)數(shù)據(jù)爆炸增長、業(yè)務(wù)應(yīng)用增多、系統(tǒng)響應(yīng)緩慢、物理擴(kuò)容達(dá)到瓶頸、設(shè)備達(dá)到服務(wù)年限。在經(jīng)過zData一體機(jī)整合之后，整體用戶體驗得到了大幅改善，業(yè)務(wù)受理和辦理效率均得到了用戶贊譽(yù)。

性能提升效果：

1、整體性能提升18倍：重構(gòu)前核心指標(biāo)DBTIME每日***單小時為3563.15，重構(gòu)后每日***單個小時指標(biāo)為199.68，性能效果提升17.8倍。

2、I/O響應(yīng)提升1000倍：重構(gòu)前平均單次I/O請求時間為10.07毫秒，重構(gòu)后平均I/O的請求時間縮短為0.01毫秒，I/O效率提升1007倍。

3、SQL性能提升117倍：考察違法審批報表SQL執(zhí)行效率，重構(gòu)前SQL執(zhí)行需10206.1秒，重構(gòu)后SQL執(zhí)行完成只需87.07秒，執(zhí)行效率提升117倍。