云計算是一種新的技術趨勢，可以更好地利用IT基礎設施、服務和應用。云計算采用了一種按使用付費的服務交付模式，用戶無需擁有自己的基礎設備、平臺或應用，只在需要時使用這些服務即可。串行和并行是兩種基本的主要計算模型。串行計算起源于 20世紀 40年代，比并行(分布式)計算早了近十年。當時，架構、編譯器、應用程序和問題解決環境成為計算發展的四個關鍵要素。

計算時代的興起離不開硬件架構的發展，最終產生了系統軟件，特別是在編譯器和操作系統領域，實現了系統管理和應用開發。應用和系統的研發是最令人感興趣的地方，當設計出問題解決環境并且可以為工程師們提供便利時，這種研發就會被逐漸整合。這標志著計算范式已經成熟并成為主流。另外，計算時代的每個方面都經歷著三個階段;研究和開發(R&D)、商業化、商品化。

并行計算與分布式計算

雖然并行計算和分布式計算存在細微的差別，但兩個概念往往可以互換。并行代表一類緊耦合系統，而分布式則代表更廣泛的一類系統，包括緊耦合系統。

更準確地說，并行計算指的是將計算任務分配給幾個共享相同內存的處理器的計算模式。并行計算系統的架構通常表現為組件的同構性;每個處理器都是相同類型的，且擁有相同的處理性能。共享內存有一個獨立的地址空間，可供所有處理器訪問。并行程序被分成若干執行單元并分配給不同的處理器，它們之間依靠共享內存相互通信。起初，只有具有共享同一物理內存的多處理器的架構才可稱為并行系統。隨著時間的推移，這些限制條件已經放寬，只要是基于共享內存這一概念的架構，無論是物理內存系統，還是由庫、特定的硬件和高效的網絡基礎設施組成的系統，都可以稱為并行系統。例如，一個集群中節點通過無限帶寬網絡連接，且配置了分布式共享內存系統，就可以稱作并行系統。

分布式計算是指那些將計算任務進行劃分，并在不同計算單元中同時執行的架構或系統，不論計算單元是不同節點上的處理器，或是同一計算機上的處理器，再或是同一處理器中的內核。因此，相比并行計算，分布式計算包含的系統和應用程序的范圍更廣，是更為通用的概念。盡管沒有規定，但分布式這一術語通常意味著計算單元的位置不同，且這些單元在硬件和軟件功能上也可能各不相同。典型的分布式系統實例是計算網格或互聯網計算系統，分布式系統在全球范圍內集成各種架構、系統和應用。

并行處理硬件架構

并行處理的核心元素是 CPU。根據可以同時處理的指令流和數據流的數量，計算機系統可以分為以下四類：

●單指令流單數據流(SISD)系統。

●單指令流多數據流(SIMD)系統。

● 多指令流單數據流(MISD)系統。

●多指令流多數據流(MIMD)系統。

1、SISD系統

SISD 計算系統是一個能在單數據流上執行單指令的單處理器機器。在 SISD系統中，機器指令按順序進行處理，因此采用這種模式的計算機通常稱為序列計算機。大多數傳統計算機采用SISD模型構建。所有需要處理的指令和數據必須存放在主存儲器上。SISD模型中，處理單元的速度受到計算機內部信息傳遞速率的限制。典型 SISD系統有32 IBM PC、Macintosh 和工作站。

2. SIMD系統

SIMD 計算系統是可以在不同的數據流上操作而在多 CPU 上執行同一指令的多處理器機器。由于包括大量的向量和矩陣運算，所以基于 SIMD 模型的機器適用于科學計算。例如，語句Ci= Ai×Bi可以傳遞給所有處理單元(PE)，向量A和 B中有組織的數據元素可以分成多組(N組對應N個PE 系統)，一個PE可以處理一個數據集。

3、MISD 系統

MISD 計算系統是能在同一數據集上操作而在不同 PE 執行不同指令的多處理器機器。例如，語句 33y= sin(x) + cos(x) + tan(x)在同一數據集上執行不同的操作。使用MISD模型構建的機器不適于大多數應用程序，已經設計的幾臺機器沒有一個可以商業化，它們更像是智能測試而非實用的配置。

4、MIMD系統

MIMD計算系統是能在多個數據集上執行多個指令的多處理器機器。MIMD模型中的每一個 PE 都有單獨的指令和數據流，因此使用該模型的機器適用于所有類型的應用程序。與 SIMD 和 MISD模型不同，MIMD機器中的 PE 是異步工作的。

MIMD 機器按照 PE 與主存耦合方式不同大致可分為共享內存 MIMD 和分布式內存 MIMD。

(1)共享內存 MIMD計算機

在共享內存 MIMD 模型中，所有執行單元都連接到一個可供訪問的單一全局內存上。基于這個模型的系統也稱為緊耦合多處理器系統。模型中 PE 之間通過共享內存進行通信，一個 PE 修改存儲在全局內存中的數據，對所有其他 PE都是可見的。共享內存 MIMD 模型的典型系統主要有 Silicon Graphics 計算機和 Sun/IBM SMP(對稱多處理器)。

(2)分布式內存MIMD計算機

在分布式內存 MIMD 模型中，所有 PE都有一個本地內存。基于這種模型的系統也稱為松耦合多處理器系統。模型中的 PE 之間通過內部互聯網絡進行通信(進程間通信通道/ IPC)。PE 之間的網絡連接可配置成樹狀、網狀、塊狀等。每一個 PE 進行異步操作，如果任務之間需要通信/ 同步，那么可以通過互相交換信息來實現。

共享內存 MIMD 架構與分布式內存 MIMD 模型相比，前者更易編程，但對故障的容忍度更低且更難擴展。共享內存 MIMD 中的故障會影響整個系統，但是分布式模型則不然，分布式模型的每一個 PE 都可以輕易地實現隔離。此外，共享內存 MIMD架構難以擴展，因為增加更多的 PE 會導致內存爭用。在分布式內存 MIMD 模型中不會出現這種情況，因為每一個 PE 都有自己的內存。

分布式系統架構和組件

分布式系統是從硬件到軟件的整個計算層次模型中多個組件交互的結果。許多組件協同工作，為用戶呈現出一個單一的整體系統。下圖描述了提供分布式系統服務的不同層的概況。

在底層，計算機和網絡硬件構成了物理基礎設施，這些組件由操作系統直接管理。操作系統負責提供基礎服務，用于進程間通信、進程調度和管理、文件系統和本地設備的資源管理。將網絡和計算機這兩層合并為一個平臺，在這個平臺上配置特定軟件，便可將聯網計算機組成一個分布式系統。

把公認的標準應用到操作系統層甚至硬件網絡層中，利用異構組件可以很容易地構造一個統一的集成系統。例如，不同設備之間的網絡連接由協議進行控制，實現設備無縫交互。在操作系統層，進程間通信服務在標準化通信協議下執行，例如 TCP/IP協議、UDP 協議等。

中間件層利用這些服務構建了一個開發和部署分布式應用程序的統一環境。這一層支持分布式系統的編程范式。依靠操作系統提供的服務，中間件層可開發協議、數據格式以及用于開發分布式應用程序的編程語言或框架。這些為分布式應用程序開發人員提供了統一接口，完全獨立于底層操作系統且屏蔽了底層的異構性。

分布式系統層次架構的頂層是利用中間件設計和開發的應用或服務。設計應用層可實現多個目的，并且具有通過本地或 Web 瀏覽器可訪問的圖形用戶接口(GUI)。例如，在云計算系統中，不論是為終端用戶提供分布式應用接口，還是為構建分布式系統提供平臺服務，都強烈推薦采用 Web技術。laaS 的供應商給出了很好的實例，如亞馬遜 Web 服務(AWS)便于創建虛擬機、將虛擬機組織成集群以及在集群中部署應用和系統。圖 2-11說明了分布式系統的一般參考架構如何應用于云計算系統。

硬件和操作系統層組成了一個或多個數據中心的最基本結構，其中服務器通過高速網絡部署和連接在一起。這些硬件由操作系統管理，操作系統提供了基本的管理計算機和網絡的能力。核心業務邏輯在管理虛擬化層的中間件上實現，虛擬化部署在物理機上，以實現最大化資源利用。并目提供可定制的應用運行環培。按照為客戶提供的服務類利。中間件為應用開發人員提供了不同的工具。這些工具通過 Web 2.0 兼容接口提供了—系列服務，包括電擬機創建、應用程序開發和運行環境部署。