云計算技術使我們能夠為計算密集型任務快速部署大量的服務器。你是否需要轉換、篩選以及分析數以TB計的數據呢?你是否有成千上萬的媒體文件需要被轉換至不同的格式?

針對這些數據密集型的大任務，可選擇在Amazon云中通過跨大型服務器集群發布大工作負載來實現。建立和管理這樣一個服務器集群是一項***挑戰性的任務，但是StarCluster開源工具可通過在Amazon彈性云計算(EC2)中自動化運行眾多的繁瑣程序，可使服務器集群的創建和管理工作得到顯著地簡化，且耗時更少。StarCluster是在GNU寬通用公共許可證(LGPL)下發布的。

StarCluster軟件可以讓用戶使用簡單的命令行程序創建服務器集群。服務器集群中包含了一臺單個的主服務器、多臺工作服務器以及彈性塊存儲(EBS)卷。當你輸入一個創建服務器集群的命令時，StarCluster會完成如下的工作：

• 初始化虛擬機實例

• 配置一個新的安全組

• 定義一個用戶友好的主機名(如，node001)

• 創建一個非管理員的用戶帳號

• 為密碼登陸配置SSH

• 定義跨集群的網絡文件系統(NFS)文件共享

• 配置Oracle網格引擎排隊系統以實現跨服務器集群的任務管理

在Amazon云中使用StarCluster

StarCluster是使用Python語言編寫的，因此你可以使用easy_install命令從Python Package Index進行安裝。Linux和Mac的用戶可能已經安裝了Python，但是Windows用戶可能需要先行安裝Python 2.7 和 Python 安裝工具。一旦StarCluster工具安裝完畢，你就需要定義一個配置文件，其中應包含一些服務器集群和Amazon云賬戶的相關基本信息，例如訪問ID和密鑰位置等。StarCluster創建了一個默認模板，你可以在此基礎之上進行進一步編輯以指定特定賬戶的信息。

雖然StarCluster使用了一個服務器集群的默認小配置，但是你可以通過命令行方式或在配置文件中指定機器的容量、EBS卷以及服務器的數量等參數。你還可以指定托管你服務器集群的Amazon網絡服務(AWS)區域。StarCluster的配置參數包括集群規模、在工作服務器節點上運行的Amazon機器鏡像(AMI)、工作服務器節點實例類型、主服務器節點AMI，以及服務器集群所連接和NFS共享的EBS卷。

將為服務器集群創建一個安全組，它可讓你為整個集群制訂防火墻規則。因為防火墻規則屬于EC2核心功能的一部分，所以可通過AWS管理控制器或配置文件進行管理。

使用Oracle網格引擎實現精簡高效的管理

Oracle網格引擎(即Sun網格引擎)是一個排隊系統，它可在集群中精簡高效地執行任務管理。例如，如果你申請對數以千計的文件進行轉換，那么你就可以使用Oracle網格引擎對所有這些文件進行任務調度，即在資源可用時按隊列順序管理文件轉換處理。

使用Oracle網格引擎的另一個優勢在于，它能夠在服務器集群中實現跨服務器的工作負載平衡。根據你對引擎的具體配置設置，它會在服務器集群中增加或刪除節點以適應實際需求的變化。Oracle網格引擎還會監控隊列中的任務和錯誤，并維護服務器集群中與任務狀態相關的其他有用信息。

存儲StarCluster的輸出數據

一般而言，在集群中運行的任務都會產生數據;而輸出數據中的部分(即便不是所有的)可能需要在集群關閉之后還是可用的。因為這些服務器集群都是由Amazon虛擬機構成的，所以你需要制訂把相關數據存儲在簡單存儲服務(S3)或EBS卷中的計劃。如果你正在使用S3對象存儲，那么你的任務就可以對S3進行數據讀寫，就好象你的應用程序是在服務器集群以外運行一樣。StarCluster的配置文件有一個可選項，可用于指定EBS卷的卷ID和載入點。在集群關閉后，這些存儲卷都會與其他的Amazon EC2實例相連,所以任何寫至集群內EBS卷的數據都可供這些實例使用。

StarCluster支持對工作節點使用現場實例，它可通過可選的命令行方式為現場實例指定一個特定的服務器類型。此外，一個spothisory命令還可顯示在之前三十天內一個實例類型的當前價、***價和平均價。

StarCluster是專為科學計算研究而開發的，它通常是一般科學計算工具中的標準配置組件。諸如NumPy這樣的Python數值計算工具包以及ATLAS這樣的優化線性代數工具包都非常擅長數據分析。StarCluster的插件支持通用工具，如Hadoop和MySQL。

作者簡介：

Dan Sullivan,是一名擁有超過20年IT經驗的作家、系統架構師和顧問。他致力于先進分析、系統架構、數據庫設計、企業安全和業務智能等應用。他曾在多個行業中工作，其中包括金融服務、制造、醫藥、軟件開發、政府、零售、教育等。Dan曾就多個主題撰寫了大量文章，如數據倉庫、與安全管理相關的云計算技術和先進分析、協作以及文本挖掘。