大型互聯(lián)網(wǎng)公司微服務架構(gòu)進化史
一、微服務架構(gòu)介紹
微服務架構(gòu)(Microservice Architecture)是一種架構(gòu)概念,旨在通過將功能分解到各個離散的服務中以實現(xiàn)對解決方案的解耦。你可以將其看作是在架構(gòu)層次而非獲取服務的類上應用很多SOLID原則。微服務架構(gòu)是個很有趣的概念,它的主要作用是將功能分解到離散的各個服務當中,從而降低系統(tǒng)的耦合性,并提供更加靈活的服務支持。
概念:把一個大型的單個應用程序和服務拆分為數(shù)個甚至數(shù)十個的支持微服務,它可擴展單個組件而不是整個的應用程序堆棧,從而滿足服務等級協(xié)議。
定義:圍繞業(yè)務領(lǐng)域組件來創(chuàng)建應用,這些應用可獨立地進行開發(fā)、管理和迭代。在分散的組件中使用云架構(gòu)和平臺式部署、管理和服務功能,使產(chǎn)品交付變得更加簡單。
本質(zhì):用一些功能比較明確、業(yè)務比較精練的服務去解決更大、更實際的問題。
二、出現(xiàn)和發(fā)展
微服務(Microservice)這個概念是2012年出現(xiàn)的,作為加快Web和移動應用程序開發(fā)進程的一種方法,2014年開始受到各方的關(guān)注,而2015年,可以說是微服務的元年;
越來越多的論壇、社區(qū)、blog以及互聯(lián)網(wǎng)行業(yè)巨頭開始對微服務進行討論、實踐,可以說這樣更近一步推動了微服務的發(fā)展和創(chuàng)新。而微服務的流行,Martin Fowler功不可沒。
這老頭是個奇人,特別擅長抽象歸納和制造概念。特別是微服務這種新生的名詞,都有一個特點:一解釋就懂,一問就不知,一討論就打架。
Martin Fowler是國際著名的OO專家,敏捷開發(fā)方法的創(chuàng)始人之一,現(xiàn)為ThoughtWorks公司的首
席科學家。在面向?qū)ο蠓治鲈O計、UML、模式、軟件開發(fā)方法學、XP、重構(gòu)等方面,都是世界頂級的
專家,現(xiàn)為Thought Works公司的首席科學家。Thought Works是一家從事企業(yè)應用開發(fā)和——集
成的公司。早在20世紀80年代,F(xiàn)owler就是使用對象技術(shù)構(gòu)建多層企業(yè)應用的倡導者,他著有幾
本經(jīng)典書籍: 《企業(yè)應用架構(gòu)模式》、《UML精粹》和《重構(gòu)》等。
———— 百度百科
三、傳統(tǒng)開發(fā)模式和微服務的區(qū)別
先來看看傳統(tǒng)的web開發(fā)方式,通過對比比較容易理解什么是Microservice Architecture。和Microservice相對應的,這種方式一般被稱為Monolithic(單體式開發(fā))。
所有的功能打包在一個 WAR包里,基本沒有外部依賴(除了容器),部署在一個JEE容器(Tomcat,JBoss,WebLogic)里,包含了 DO/DAO,Service,UI等所有邏輯。
優(yōu)點:
①開發(fā)簡單,集中式管理
②基本不會重復開發(fā)
③功能都在本地,沒有分布式的管理和調(diào)用消耗
缺點:
1、效率低:開發(fā)都在同一個項目改代碼,相互等待,沖突不斷
2、維護難:代碼功功能耦合在一起,新人不知道何從下手
3、不靈活:構(gòu)建時間長,任何小修改都要重構(gòu)整個項目,耗時
4、穩(wěn)定性差:一個微小的問題,都可能導致整個應用掛掉
5、擴展性不夠:無法滿足高并發(fā)下的業(yè)務需求
常見的系統(tǒng)架構(gòu)遵循的三個標準和業(yè)務驅(qū)動力:
1、提高敏捷性:及時響應業(yè)務需求,促進企業(yè)發(fā)展
2、提升用戶體驗:提升用戶體驗,減少用戶流失
3、降低成本:降低增加產(chǎn)品、客戶或業(yè)務方案的成本
基于微服務架構(gòu)的設計:
目的:有效的拆分應用,實現(xiàn)敏捷開發(fā)和部署
關(guān)于微服務的一個形象表達:
X軸:運行多個負載均衡器之后的運行實例
Y軸:將應用進一步分解為微服務(分庫)
Z軸:大數(shù)據(jù)量時,將服務分區(qū)(分表)
四、微服務的具體特征
官方的定義:
1、一些列的獨立的服務共同組成系統(tǒng)
2、單獨部署,跑在自己的進程中
3、每個服務為獨立的業(yè)務開發(fā)
4、分布式管理
5、非常強調(diào)隔離性
大概的標準:
1、分布式服務組成的系統(tǒng)
2、按照業(yè)務,而不是技術(shù)來劃分組織
3、做有生命的產(chǎn)品而不是項目
4、強服務個體和弱通信( Smart endpoints and dumb pipes )
5、自動化運維( DevOps )
6、高度容錯性
7、快速演化和迭代
五、SOA和微服務的區(qū)別
1、SOA喜歡重用,微服務喜歡重寫
SOA的主要目的是為了企業(yè)各個系統(tǒng)更加容易地融合在一起。 說到SOA不得不說ESB(EnterpriseService Bus)。 ESB是什么? 可以把ESB想象成一個連接所有企業(yè)級服務的腳手架。
通過service broker,它可以把不同數(shù)據(jù)格式或模型轉(zhuǎn)成canonical格式,把XML的輸入轉(zhuǎn)成CSV傳給legacy服務,把SOAP 1.1服務轉(zhuǎn)成 SOAP 1.2等等。 它還可以把一個服務
路由到另一個服務上,也可以集中化管理業(yè)務邏輯,規(guī)則和驗證等等。 它還有一個重要功能是消息隊列和事件驅(qū)動的消息傳遞,比如把JMS服務轉(zhuǎn)化成SOAP協(xié)議。 各服務間可能有
復雜的依賴關(guān)系。
微服務通常由重寫一個模塊開始。要把整個巨石型的應用重寫是有很大的風險的,也不一定必要。我們向微服務遷移的時候通常從耦合度最低的模塊或?qū)U展性要求最高的模塊開始,
把它們一個一個剝離出來用敏捷地重寫,可以嘗試最新的技術(shù)和語言和框架,然 后單獨布署。 它通常不依賴其他服務。微服務中常用的API Gateway的模式主要目的也不是重用代碼,
而是減少客戶端和服務間的往來。API gateway模式不等同與Facade模式,我們可以使用如future之類的調(diào)用,甚至返回不完整數(shù)據(jù)。
2、SOA喜歡水平服務,微服務喜歡垂直服務
SOA設計喜歡給服務分層(如Service Layers模式)。 我們常常見到一個Entity服務層的設計,美其名曰Data Access Layer。 這種設計要求所有的服務都通過這個Entity服務層
來獲取數(shù)據(jù)。 這種設計非常不靈活,比如每次數(shù)據(jù)層的改動都可能影響到所有業(yè)務層的服務。 而每個微服務通常有它自己獨立的data store。 我們在拆分數(shù)據(jù)庫時可以適當?shù)淖鲂?/p>
去范式化(denormalization),讓它不需要依賴其他服務的數(shù)據(jù)。
微服務通常是直接面對用戶的,每個微服務通常直接為用戶提供某個功能。 類似的功能可能針對手機有一個服務,針對機頂盒是另外一個服務。 在SOA設計模式中這種情況通常會用到
Multi-ChannelEndpoint的模式返回一個大而全的結(jié)果兼顧到所有的客戶端的需求。
3、SOA喜歡自上而下,微服務喜歡自下而上
SOA架構(gòu)在設計開始時會先定義好服務合同(service contract)。 它喜歡集中管理所有的服務,包括集中管理業(yè)務邏輯,數(shù)據(jù),流程,schema,等等。 它使用Enterprise
Inventory和Service Composition等方法來集中管理服務。 SOA架構(gòu)通常會預先把每個模塊服務接口都定義好。 模塊系統(tǒng)間的通訊必須遵守這些接口,各服務是針對他們的調(diào)用者。
SOA架構(gòu)適用于TOGAF之類的架構(gòu)方法論。
微服務則敏捷得多。只要用戶用得到,就先把這個服務挖出來。然后針對性的,快速確認業(yè)務需求,快速開發(fā)迭代。
六、怎么具體實踐微服務
要實際的應用微服務,需要解決一下四點問題:
- 客戶端如何訪問這些服務
- 每個服務之間如何通信
- 如此多的服務,如何實現(xiàn)?
- 服務掛了,如何解決?(備份方案,應急處理機制)
1、客戶端如何訪問這些服務
原來的Monolithic方式開發(fā),所有的服務都是本地的,UI可以直接調(diào)用,現(xiàn)在按功能拆分成獨立的服務,跑在獨立的一般都在獨立的虛擬機上的 Java進程了。客戶端UI如何訪問他的?
后臺有N個服務,前臺就需要記住管理N個服務,一個服務下線/更新/升級,前臺就要重新部署,這明顯不服務我們 拆分的理念,特別當前臺是移動應用的時候,通常業(yè)務變化的節(jié)奏更快。
另外,N個小服務的調(diào)用也是一個不小的網(wǎng)絡開銷。還有一般微服務在系統(tǒng)內(nèi)部,通常是無 狀態(tài)的,用戶登錄信息和權(quán)限管理最好有一個統(tǒng)一的地方維護管理(OAuth)。
所以,一般在后臺N個服務和UI之間一般會一個代理或者叫API Gateway,他的作用包括:
① 提供統(tǒng)一服務入口,讓微服務對前臺透明
② 聚合后臺的服務,節(jié)省流量,提升性能
③ 提供安全,過濾,流控等API管理功能
其實這個API Gateway可以有很多廣義的實現(xiàn)辦法,可以是一個軟硬一體的盒子,也可以是一個簡單的MVC框架,甚至是一個Node.js的服務端。他們最重要的作 用是為前臺(通常是
移動應用)提供后臺服務的聚合,提供一個統(tǒng)一的服務出口,解除他們之間的耦合,不過API Gateway也有可能成為單點故障點或者性能的瓶頸。
用過Taobao Open Platform(淘寶開放平臺)的就能很容易的體會,TAO就是這個API Gateway。
2、每個服務之間如何通信
所有的微服務都是獨立的Java進程跑在獨立的虛擬機上,所以服務間的通信就是IPC(inter process communication),已經(jīng)有很多成熟的方案。現(xiàn)在基本最通用的有兩種方式:
同步調(diào)用:
①REST(JAX-RS,Spring Boot)
②RPC(Thrift, Dubbo)
異步消息調(diào)用(Kafka, Notify, MetaQ)
同步和異步的區(qū)別:
一般同步調(diào)用比較簡單,一致性強,但是容易出調(diào)用問題,性能體驗上也會差些,特別是調(diào)用層次多的時候。RESTful和RPC的比較也是一個很有意 思的話題。
一般REST基于HTTP,更容易實現(xiàn),更容易被接受,服務端實現(xiàn)技術(shù)也更靈活些,各個語言都能支持,同時能跨客戶端,對客戶端沒有特殊的要求,只要封裝了HTTP的
SDK就能調(diào)用,所以相對使用的廣一些。RPC也有自己的優(yōu)點,傳輸協(xié)議更高效,安全更可控,特別在一個公司內(nèi)部,如果有統(tǒng)一個 的開發(fā)規(guī)范和統(tǒng)一的服務框架時,
他的開發(fā)效率優(yōu)勢更明顯些。就看各自的技術(shù)積累實際條件,自己的選擇了。
而異步消息的方式在分布式系統(tǒng)中有特別廣泛的應用,他既能減低調(diào)用服務之間的耦合,又能成為調(diào)用之間的緩沖,確保消息積壓不會沖垮被調(diào)用方,同時能保證調(diào)用方的
服務體驗,繼續(xù)干自己該干的活,不至于被后臺性能拖慢。不過需要付出的代價是一致性的減弱,需要接受數(shù)據(jù)最終一致性;還有就是后臺服務一般要 實現(xiàn)冪等性,因為消息
發(fā)送出于性能的考慮一般會有重復(保證消息的被收到且僅收到一次對性能是很大的考驗);最后就是必須引入一個獨立的broker,如果公司內(nèi)部沒有技術(shù)積累,
對broker分布式管理也是一個很大的挑戰(zhàn)。
3、如此多的服務,如何實現(xiàn)?
在微服務架構(gòu)中,一般每一個服務都是有多個拷貝,來做負載均衡。一個服務隨時可能下線,也可能應對臨時訪問壓力增加新的服務節(jié)點。服務之間如何相互感知?服務如何管理?
這就是服務發(fā)現(xiàn)的問題了。一般有兩類做法,也各有優(yōu)缺點。基本都是通過zookeeper等類似技術(shù)做服務注冊信息的分布式管理。當服務上線時,服務提供者將自己的服務信息
注冊到ZK(或類似框架),并通過心跳維持長鏈接,實時更新鏈接信息。服務調(diào)用者通過ZK尋址,根據(jù)可定制算法, 找到一個服務,還可以將服務信息緩存在本地以提高性能。
當服務下線時,ZK會發(fā)通知給服務客戶端。
客戶端做:優(yōu)點是架構(gòu)簡單,擴展靈活,只對服務注冊器依賴。缺點是客戶端要維護所有調(diào)用服務的地址,有技術(shù)難度,一般大公司都有成熟的內(nèi)部框架支持,比如Dubbo。
服務端做:優(yōu)點是簡單,所有服務對于前臺調(diào)用方透明,一般在小公司在云服務上部署的應用采用的比較多。
4、服務掛了,如何解決
前面提到,Monolithic方式開發(fā)一個很大的風險是,把所有雞蛋放在一個籃子里,一榮俱榮,一損俱損。而分布式最大的特性就是網(wǎng)絡是不可靠的。通過微服務拆分能降低這個風險,
不過如果沒有特別的保障,結(jié)局肯定是噩夢。所以當我們的系統(tǒng)是由一系列的服務調(diào)用鏈組成的時候,我們必須確保任一環(huán)節(jié)出問題都不至于影響整體鏈路。相應的手段有很多:
①重試機制
②限流
③熔斷機制
④負載均衡
⑤降級(本地緩存)
這些方法基本都很明確通用,比如Netflix的Hystrix:https://github.com/Netflix/Hystrix
七、常見的設計模式和應用
有一個圖非常好的總結(jié)微服務架構(gòu)需要考慮的問題,包括:
1、API Gateway
2、服務間調(diào)用
3、服務發(fā)現(xiàn)
4、服務容錯
5、服務部署
6、數(shù)據(jù)調(diào)用
六種常見的微服務架構(gòu)設計模式:
1、聚合器微服務設計模式
這是一種最常見也最簡單的設計模式:
聚合器調(diào)用多個服務實現(xiàn)應用程序所需的功能。它可以是一個簡單的Web頁面,將檢索到的數(shù)據(jù)進行處理展示。它也可以是一個更高層次的組合微服務,對檢索到的數(shù)據(jù)增加業(yè)務邏輯后進一步
發(fā)布成一個新的微服務,這符合DRY原則。另外,每個服務都有自己的緩存和數(shù)據(jù)庫。如果聚合器是一個組合服務,那么它也有自己的緩存和數(shù)據(jù)庫。聚合器可以沿X軸和Z軸獨立擴展。
2、代理微服務設計模式
這是聚合模式的一個變種,如下圖所示:
在這種情況下,客戶端并不聚合數(shù)據(jù),但會根據(jù)業(yè)務需求的差別調(diào)用不同的微服務。代理可以僅僅委派請求,也可以進行數(shù)據(jù)轉(zhuǎn)換工作。
3、鏈式微服務設計模式
這種模式在接收到請求后會產(chǎn)生一個經(jīng)過合并的響應,如下圖所示:
在這種情況下,服務A接收到請求后會與服務B進行通信,類似地,服務B會同服務C進行通信。所有服務都使用同步消息傳遞。在整個鏈式調(diào)用完成之前,客戶端會一直阻塞。
因此,服務調(diào)用鏈不宜過長,以免客戶端長時間等待。
4、分支微服務設計模式
這種模式是聚合器模式的擴展,允許同時調(diào)用兩個微服務鏈,如下圖所示:
5、數(shù)據(jù)共享微服務設計模式
自治是微服務的設計原則之一,就是說微服務是全棧式服務。但在重構(gòu)現(xiàn)有的“單體應用(monolithic application)”時,SQL數(shù)據(jù)庫反規(guī)范化可能會導致數(shù)據(jù)重復和不一致。
因此,在單體應用到微服務架構(gòu)的過渡階段,可以使用這種設計模式,如下圖所示:
在這種情況下,部分微服務可能會共享緩存和數(shù)據(jù)庫存儲。不過,這只有在兩個服務之間存在強耦合關(guān)系時才可以。對于基于微服務的新建應用程序而言,這是一種反模式。
6、異步消息傳遞微服務設計模式
雖然REST設計模式非常流行,但它是同步的,會造成阻塞。因此部分基于微服務的架構(gòu)可能會選擇使用消息隊列代替REST請求/響應,如下圖所示:
八、優(yōu)點和缺點
1、微服務的優(yōu)點:
關(guān)鍵點:復雜度可控,獨立按需擴展,技術(shù)選型靈活,容錯,可用性高
①它解決了復雜性的問題。它會將一種怪異的整體應用程序分解成一組服務。雖然功能總量 不變,但應用程序已分解為可管理的塊或服務。每個服務都以RPC或消息驅(qū)動的API的
形式定義了一個明確的邊界;Microservice架構(gòu)模式實現(xiàn)了一個模塊化水平。
②這種架構(gòu)使每個服務都能夠由專注于該服務的團隊獨立開發(fā)。開發(fā)人員可以自由選擇任何有用的技術(shù),只要該服務符合API合同。當然,大多數(shù)組織都希望避免完全無政府狀態(tài)并
限制技術(shù)選擇。然而,這種自由意味著開發(fā)人員不再有義務使用在新項目開始時存在的可能過時的技術(shù)。在編寫新服務時,他們可以選擇使用當前的技術(shù)。此外,由于服務相對較小,
因此使用當前技術(shù)重寫舊服務變得可行。
③Microservice架構(gòu)模式使每個微服務都能獨立部署。開發(fā)人員不需要協(xié)調(diào)部署本地服務的變更。這些變化可以在測試后盡快部署。例如,UI團隊可以執(zhí)行A | B測試,并快速迭代
UI更改。Microservice架構(gòu)模式使連續(xù)部署成為可能。
④Microservice架構(gòu)模式使每個服務都可以獨立調(diào)整。您可以僅部署滿足其容量和可用性限制的每個服務的實例數(shù)。此外,您可以使用最符合服務資源要求的硬件。
2、微服務的缺點
關(guān)鍵點(挑戰(zhàn)):多服務運維難度,系統(tǒng)部署依賴,服務間通信成本,數(shù)據(jù)一致性,系統(tǒng)集成測試,重復工作,性能監(jiān)控等
①一個缺點是名稱本身。術(shù)語microservice過度強調(diào)服務規(guī)模。但重要的是要記住,這是一種手段,而不是主要目標。微服務的目標是充分分解應用程序,以便于敏捷應用程序開發(fā)和部署。
②微服務器的另一個主要缺點是分布式系統(tǒng)而產(chǎn)生的復雜性。開發(fā)人員需要選擇和實現(xiàn)基于消息傳遞或RPC的進程間通信機制。此外,他們還必須編寫代碼來處理部分故障,
因為請求的目的地可能很慢或不可用。
③微服務器的另一個挑戰(zhàn)是分區(qū)數(shù)據(jù)庫架構(gòu)。更新多個業(yè)務實體的業(yè)務交易是相當普遍的。但是,在基于微服務器的應用程序中,您需要更新不同服務所擁有的多個數(shù)據(jù)庫。使用分布式事務
通常不是一個選擇,而不僅僅是因為CAP定理。許多今天高度可擴展的NoSQL數(shù)據(jù)庫都不支持它們。你最終不得不使用最終的一致性方法,這對開發(fā)人員來說更具挑戰(zhàn)性。
④測試微服務應用程序也更復雜。服務類似的測試類將需要啟動該服務及其所依賴的任何服務(或至少為這些服務配置存根)。再次,重要的是不要低估這樣做的復雜性。
⑤Microservice架構(gòu)模式的另一個主要挑戰(zhàn)是實現(xiàn)跨越多個服務的更改。例如,我們假設您正在實施一個需要更改服務A,B和C的故事,其中A取決于B和B取決于C.在單片應用程序中,
您可以簡單地更改相應的模塊,整合更改,并一次性部署。相比之下,在Microservice架構(gòu)模式中,您需要仔細規(guī)劃和協(xié)調(diào)對每個服務的更改。例如,您需要更新服務C,然后更新服務B,
然后再維修A.幸運的是,大多數(shù)更改通常僅影響一個服務,而需要協(xié)調(diào)的多服務變更相對較少。
⑥部署基于微服務的應用程序也更復雜。單一應用程序簡單地部署在傳統(tǒng)負載平衡器后面的一組相同的服務器上。每個應用程序?qū)嵗寂渲糜谢A架構(gòu)服務(如數(shù)據(jù)庫和消息代理)
的位置(主機和端口)。相比之下,微服務應用通常由大量服務組成。例如,每個服務將有多個運行時實例。更多的移動部件需要進行配置,部署,擴展和監(jiān)控。此外,您還需要實現(xiàn)服務
發(fā)現(xiàn)機制,使服務能夠發(fā)現(xiàn)需要與之通信的任何其他服務的位置(主機和端口)。傳統(tǒng)的基于故障單和手動操作的方法無法擴展到這種復雜程度。因此,成功部署微服務應用程序需要
開發(fā)人員更好地控制部署方法,并實現(xiàn)高水平的自動化。
九、思考:意識的轉(zhuǎn)變
微服務對我們的思考,更多的是思維上的轉(zhuǎn)變。對于微服務架構(gòu):技術(shù)上不是問題,意識比工具重要。
關(guān)于微服務的幾點設計出發(fā)點:
1、應用程序的核心是業(yè)務邏輯,按照業(yè)務或客戶需求組織資源(這是最難的)
2、做有生命的產(chǎn)品,而不是項目
3、頭狼戰(zhàn)隊,全棧化
4、后臺服務貫徹Single Responsibility Principle(單一職責原則)
5、VM->Docker (to PE)
6、DevOps (to PE)
同時,對于開發(fā)同學,有這么多的中間件和強大的PE支持固然是好事,我們也需要深入去了解這些中間件背后的原理,知其然知其所以然,在有限的技術(shù)資源如何通過開源技術(shù)實施微服務?
最后,一般提到微服務都離不開DevOps和Docker,理解微服務架構(gòu)是核心,devops和docker是工具,是手段。