在過去的幾年里，企業(yè)已經(jīng)紛紛認(rèn)識(shí)到大數(shù)據(jù)中蘊(yùn)藏著海量有價(jià)值的信息這一事實(shí)。供應(yīng)商都開始狂熱地致力于開發(fā)大數(shù)據(jù)分析新技術(shù)，如Hadoop Map/Reduce、Dryad、Spark和HBase，以便有效地將這些數(shù)據(jù)轉(zhuǎn)換成有價(jià)值的信息資本。而這一趨勢無疑將受益于另一種新技術(shù)的出現(xiàn)：軟件定義的網(wǎng)絡(luò)(SDN)。

所謂的大數(shù)據(jù)，其實(shí)大部分是非結(jié)構(gòu)化的數(shù)據(jù)。雖然結(jié)構(gòu)化的數(shù)據(jù)更符合傳統(tǒng)的數(shù)據(jù)庫架構(gòu)，而非結(jié)構(gòu)化的數(shù)據(jù)則較難處理。舉個(gè)例子來說，對于視頻存儲(chǔ)數(shù)據(jù)而言。雖然視頻文件的格式、文件大小、和源IP地址都是結(jié)構(gòu)化數(shù)據(jù)，但視頻內(nèi)容本身并不適合固定長度的字段，都是非結(jié)構(gòu)化的。而從大數(shù)據(jù)分析中獲得的大部分有價(jià)值的數(shù)據(jù)信息均來自于非結(jié)構(gòu)化數(shù)據(jù)的搜索和查詢功能。例如，從視頻剪輯中的成千上萬張面孔中使用面部識(shí)別算法挑選出一個(gè)人。

該技術(shù)針對的是需要通過高速以太網(wǎng)連接的服務(wù)器上的成千上萬大型集群數(shù)據(jù)進(jìn)行快速有效的并行計(jì)算解析的問題。因此，大數(shù)據(jù)的智能挖掘處理過程主要包括如下三步：1)數(shù)據(jù)分割成多個(gè)服務(wù)器節(jié)點(diǎn);2)并行分析每個(gè)數(shù)據(jù)塊;3)合并結(jié)果。

通過連續(xù)重復(fù)這些操作，直到對整個(gè)數(shù)據(jù)集完整進(jìn)行了分析。

由于這些并行計(jì)算拆分合并的性質(zhì)，可以將大數(shù)據(jù)分析放置在一個(gè)具有重大的負(fù)載的底層網(wǎng)絡(luò)。即使是采用世界上處理速度最快的服務(wù)器，數(shù)據(jù)處理速度也依然是大數(shù)據(jù)處理速度方面最大瓶頸。大數(shù)據(jù)只能是盡可能快地保持與網(wǎng)絡(luò)傳輸相同的速度在拆分合并階段在服務(wù)器之間傳輸數(shù)據(jù)。例如，F(xiàn)acebook的一項(xiàng)跟蹤研究表明，這種數(shù)據(jù)連續(xù)傳輸占到總運(yùn)行時(shí)間的33%，而對于許多工作而言，通信階段就超過了運(yùn)行時(shí)間的50%。

通過解決這一網(wǎng)絡(luò)瓶頸，我們可以顯著加快大數(shù)據(jù)分析的步伐。其具有雙重的意義：1 )更好地利用集群管理為提供基礎(chǔ)設(shè)施的云服務(wù)提供商降低TCO;2 )更快的完成處理工作，幫助基礎(chǔ)設(shè)施租戶實(shí)現(xiàn)實(shí)時(shí)分析。

我們需要的是一個(gè)智能化的網(wǎng)絡(luò)，通過每個(gè)階段的計(jì)算，自適應(yīng)的調(diào)整，以適應(yīng)數(shù)據(jù)傳輸分割與合并階段的帶寬要求，不僅提高速度，而且還提高了帶寬利用率。

SDN的作用

軟件定義的網(wǎng)絡(luò)在建立用于大數(shù)據(jù)分析的智能自適應(yīng)網(wǎng)絡(luò)方面具有巨大潛力。由于控制和數(shù)據(jù)面板的分離，SDN提供了一個(gè)良好的定義編程接口，使得智能軟件編程網(wǎng)絡(luò)是高度可定制的、具備可擴(kuò)展性和靈活性，以滿足大數(shù)據(jù)的需求。#p#

SDN可以根據(jù)需求配置網(wǎng)絡(luò)，以充分滿足虛擬機(jī)計(jì)算的大小和形狀要求，進(jìn)而達(dá)到最佳狀態(tài)。這直接解決了大數(shù)據(jù)需要大規(guī)模并行應(yīng)用程序所面臨的處理速度較慢的最大挑戰(zhàn)。處理速度緩慢是因?yàn)榇蠖鄶?shù)虛擬機(jī)的大數(shù)據(jù)應(yīng)用程序計(jì)算都花費(fèi)了相當(dāng)大量的時(shí)間用于等待大量數(shù)據(jù)分散聚集到達(dá)操作平臺(tái)，以便可以開始處理。利用SDN，網(wǎng)絡(luò)可以按照需求和容量規(guī)模在拆分合并操作過程中創(chuàng)建安全的途徑，從而大大減少了等待時(shí)間，因此總的處理時(shí)間也就隨之減少了。

這種軟件定義的網(wǎng)絡(luò)非常智能，基本上可以了解應(yīng)用程序需要從網(wǎng)絡(luò)上獲得什么資源，以便獲得更好的精度和效率提供給大數(shù)據(jù)應(yīng)用程序。原因是兩方面：1)存在明確的計(jì)算和通信模式，如Hadoop Split-Merge分析或Mapreduce paradigm; 2)存在一個(gè)集中的管理結(jié)構(gòu)，使得利用應(yīng)用程序?qū)用鎸π畔⒊蔀榭赡埽鏗adoop Scheduler或HBase Master。

借助SDN控制器所具有的底層網(wǎng)絡(luò)狀態(tài)的全局視圖，智能軟件可以準(zhǔn)確地通過編程網(wǎng)絡(luò)解析應(yīng)用程序的需求。

SDN還提供了其他協(xié)助管理、整合和分析大數(shù)據(jù)的功能。新的SDN面向包括OpenFlow和OpenStack等網(wǎng)絡(luò)協(xié)議，使網(wǎng)絡(luò)管理更加容易，更加智能化，自動(dòng)化程度更高。OpenStack使設(shè)置和配置網(wǎng)絡(luò)元素所需的人力少了很多，OpenFlow有助于網(wǎng)絡(luò)自動(dòng)化獲得更大的靈活性，以支持新的需求：如數(shù)據(jù)中心自動(dòng)化、BYOD趨勢、安全和應(yīng)用程序加速。

從規(guī)模的角度來看，SDN在發(fā)展針對大數(shù)據(jù)的網(wǎng)絡(luò)基礎(chǔ)設(shè)施方面也起著至關(guān)重要的作用，便于簡化管理成千上萬的開關(guān)，以及增強(qiáng)供應(yīng)商之間的互操作性，加快了網(wǎng)絡(luò)基礎(chǔ)建設(shè)和應(yīng)用程序開發(fā)。OpenFlow協(xié)議與任何供應(yīng)商的OpenFlow設(shè)備兼容，這種互操作性不會(huì)阻礙企業(yè)利用專有解決方案將大數(shù)據(jù)轉(zhuǎn)化為信息資本。

鑒于大數(shù)據(jù)強(qiáng)大的影響力和潛在的價(jià)值越來越清晰，確保企業(yè)網(wǎng)絡(luò)為擴(kuò)展到這些新興的需求做好準(zhǔn)備將是一個(gè)關(guān)鍵性的步驟，進(jìn)而確保企業(yè)的長期業(yè)務(wù)成功。很顯然，一個(gè)成功的解決方案將充分利用兩大關(guān)鍵要素：大數(shù)據(jù)應(yīng)用程序所提供的存在模式和網(wǎng)絡(luò)SDN所提供的可編程性。從這個(gè)角度來看，SDN的確是為使得網(wǎng)絡(luò)適應(yīng)更遠(yuǎn)、更快、駕馭更大知識(shí)量和保持創(chuàng)新的步伐做好準(zhǔn)備過程中發(fā)揮了重要作用。

本文作者Bithika Khargharia是一位高級(jí)工程師，專注于極端網(wǎng)絡(luò)架構(gòu)和垂直解決方案。在技術(shù)研究和開發(fā)領(lǐng)域擁有包括曾供職于思科的超過十年的經(jīng)驗(yàn)。Bithika在跨行業(yè)系統(tǒng)工程方面的經(jīng)驗(yàn)包括綠色技術(shù)、可管理性和性能、服務(wù)器、網(wǎng)絡(luò)和大型數(shù)據(jù)中心架構(gòu)、分布式(網(wǎng)格)計(jì)算、自動(dòng)化計(jì)算和軟件定義的網(wǎng)絡(luò)。