解讀 | TARS開源項目發布Go語言版本

作者：佚名 2018-09-20 17:30:01

近日，Tars 開源項目在上海發布并開源了 Go 語言版本，其性能與 C++ 版本相當，比 gRPC 的性能高 5 倍。

Tars 是騰訊開源的一款微服務框架，它于去年 4 月份開源，并于今年 6 月捐贈給了 Linux 基金會。Tars 為用戶提供了涉及到開發和運維的一整套解決方案，幫助一個產品或者服務快速開發、發布、部署、上線和維護。它集可擴展協議編解碼、高性能 RPC 通信框架、名字路由與發現、發布監控、日志統計、配置管理等于一體，通過它可以快速用微服務的方式構建穩定可靠的分布式應用，并實現完整有效的服務治理。經過一年多的發展，目前 Tars 已經被許多企業使用，如閱文集團、虎牙直播、科大訊飛，優品財富、龍圖游戲和金太陽教育等。

據悉，9 月 15 日，騰訊宣布正式開源 Tars 的 Golang 版本 Tars-Go。編者從 Tars 的開源公告中了解到 Tars 與當前市面上其它微服務框架的差異、技術架構、性能數據與相關技術細節，本文將詳細介紹 Tars 此次釋出的 Golang 版本。

項目地址： https://github.com/TarsCloud/TarsGo

支持服務治理、多語言，只 Tars 一家

微服務架構這兩年變得格外火熱，它已經成為當前最主流的架構模式。提起微服務框架，我們可以自然地舉出 Dubbo、gRPC 與 Spring Cloud 等眾多的知名項目，依據是否支持服務治理和是否支持多語言兩個維度可將這些微服務框架分為以下四類：

只有服務調用沒有服務治理類的框架。典型的代表有 gRPC、Thrift 等，他們很好地解決了服務間通信的問題，大部分也支持多語言，但使用這類框架時需要自己去解決服務治理問題。
帶服務治理但支持單一語言的框架。典型的代表有 Spring Cloud 和 Dubbo，它們都是用 Java 實現的框架，用戶整合多個開源項目一起并能滿足服務治理等的需求。
Service Mesh。它支持服務治理，并通過 Sidecar 模式解決框架對多語言支持，業務需要再封裝一套通訊組件去解決通訊問題，以及異步調用等問題，同時會增加架構和維護的復雜度。
帶服務治理并支持多語言的框架。目前業界比較少，除了 Tars 目前還沒有發現其它具有代表性的框架。

從上面的分析大概可以發現，Tars 是支持服務治理的同時又提供多語言支持的微服務框架，這是 Tars 的獨特之處，也是其優勢。

Tars 可以運行在物理機、虛擬機和容器，其協議主打的是基于 IDL 實現的 Tars 協議，它是一種二進制解析協議，與 pb 類似，同時 Tars 還擴展支持其它協議，乃至用戶自定義。

調用方式主要以 RPC 為主，支持同步、異步和單向調用幾種方式。在服務治理方面除了支持服務注冊、發現等業界常說的能力之外，還提供面對海量訪問的一些其它治理能力，如 Set 模型、自動區域感知、過載保護等，語言上除了此次新支持的 Golang，目前已經支持了 C++、Java、NodeJS 與 PHP，同時整體框架可以和 DevOps 很好地協同工作。

Tars 整體分為三個部分：Registry、服務節點和基礎服務集群。

Registry

Registry 是微服務集群的管理和控制節點，提供服務注冊和發現等功能。

服務節點

服務節點是 Tars 運行的原子單元，可以是一個容器也可以是一個虛機或物理機，一個業務服務通過部署多個服務節點來解決容量和容錯問題。服務節點上包括一個 node 管理服務和一個或多個業務服務，node 服務對本節點的服務進行統一管理，提供啟停、監控服務節點等功能，同時接收業務服務節點上報過來的心跳，上報給 Registry 作為服務發現的數據來源。

基礎服務集群

基礎服務集群是為解決微服務治理而設計的一系列服務，服務節點數量不定，為了自身的容錯容災，一般也要求在多個服務器上進行部署，具體的節點數量與業務規模有關，比如，如果業務規模大需要打較多的日志，就需要部署更多的日志服務節點?；A服務主要包括監控統計、配置中心、日志聚合、認證鑒權和分布式調用鏈等。Tars 具有非常完善的服務治理能力。

Tars 通過 Registry、服務節點和基礎服務集群協同工作，透明完成服務發現/注冊、負載均衡、鑒權、分布式跟蹤等服務治理相關工作。如框架通過 Registry 來注冊 xxxsvr，Client 通過訪問 Registry 獲取到被調服務的地址信息列表，Client 再根據需要選擇合適的負載均衡方式來調用服務。負載均衡支持輪詢、hash、權重等多種方式。

為了更及時地屏蔽故障節點，Client 根據調用被調服務的異常情況判斷是否有故障來更快地進行故障屏蔽。具體策略是，當 Client 調用某個服務器出現調用連續超時超過設置閾值，或者調用的超時比率超過一定百分比閾值，Client 就會對此服務器節點進行屏蔽，讓流量分發到正常的節點上去。對屏蔽的服務器節點，每隔一定時間進行重連，如果正常，則進行正常的流量分發。

隨著業務增長，服務的部署難免會跨機房或者地域，常規的負載均衡方式面對跨地區或者跨機房部署的服務會因為網絡原因造成延時增大，為了加快服務間的訪問速度，減少因建設跨地區、跨機房調用帶來的網絡資源消耗，減少網絡故障帶來的影響，Tars 提供自動區域感知的服務治理功能。

通過 Registry 和開發框架配合實現自動區域感知，這樣的優勢有：

運維簡單

降低延時減少帶寬消耗
更強的容災能力

此外 Tars 還提供 Set 模型。

Set 模型是根據業務功能特征對部署進行規范化和標準化，以 Set 為單元進行部署。Set 模型的優點有：

有效防止故障擴散

方便進行容量管理

對于流量控制，服務發布上線主要面對的問題是“如何做對業務無損的服務變更”與“如何做灰度驗證”，在 Tars 中，可通過 Registry 和開發框架配合實現按需進行流量控制，達到無損發布和灰度流量的目的。

語言支持方面，除了此前已經支持的 PHP、C++、NodeJS 與 Java，此次還加入了 Golang 支持。

此外，Tars 還提供一個 OSS 平臺，可使運營可視化、Web 化。

它主要包含以下特點：

業務管理：包括已部署的服務，以及服務管理、發布管理、服務配置、服務監控、特性監控等

運維管理：包括服務部署、擴容、模版管理等
提供 Open API ，可定制自己的 OSS 系統

Tars-Go，Tars Go！

多語言支持是 Tars 的一大優勢，在此之前 Tars 已經推出了 C++、Java、PHP、NodeJS 版本。Go 語言的協程并發機制使它非常適用于大規模高并發后端服務器程序開發，同時隨著容器化技術的飛速發展，諸如 Docker、Kubernetes 與 Etcd 等項目興起，使得 Go 語言越來越流行，并成為云原生的首選語言。Tars 的 Go 語言版本也因此應運而生，此次 Tars-Go 的推出，在大環境整體逐漸走向云原生的當下，意義非凡。

此次新推出的 Go 版本 Tars-Go 整體架構主要可以分為三個部分，如下圖所示：

左邊是 tars2go 工具，tars2go 基于巴科斯范式（BNF），這是一種描述程序語言結構的形式化方法，用來對 Tars 文件進行語法和詞法分析，生成相應的代碼，供客戶端和服務端使用。同時它提供 Tars 協議二進制流的編解碼功能，將二進制包轉成相應的 Go 數據結構。

右邊部分是 package tars，它包含了 Client 和 Server 兩部分的功能：
- Client 由 Servantproxy、Communicator、ObjProxy、adapterproxy 等邏輯結構組成，這些邏輯結構用來管理 servant，obj 對應到的服務端節點的 ip 端口，和 C++ 的邏輯保持一致。底層使用 net.Conn 來建立具體的連接，并用 SendQueue chan 來控制并發數量。Client 還包含一些 Goroutine，用來做特性監控和 stat 監控上報。
- Server 使用 package net 的 listener 來管理 TCP 和 UDP 連接，使用多個 Goroutine 進行 accept，并將 accept 之后的 net.Conn 經過 SendQueue chan 交給后端的 Handler 進行處理。Handler 由一堆 woker Goroutine 組成，每個 Goroutine 基于 net.Conn 進行收發包、Tars 協議解碼，并經過 dispatcher（由 tars2go 生成）來調用用戶的代碼實現，然后將結果編碼成二進制流返回給 Client。Server 也包含一些 Goroutine 實現遠程日志異步上報等功能，防止同步調用阻塞請求。

編者了解到，Tars 開源團隊在研發 Tars-Go 的過程中經歷的對其各個方面的性能調優改造，Tars-Go 在早先的版本注重于功能的開發和完善，沒有體系化地進行壓測和性能分析。在業務使用一段時間后，開始注重性能優化。Tars 開源團隊對 tars2go 工具先進行了一輪優化，在生成語樹的時候生成好了類型信息，避免使用反射進行類型判斷，編解碼的效率提升了 2 倍，然后對再對整體 servant 進行了一輪輪壓測，并進行 CPU profile 性能分析。

下面是性能提升優化的幾個實例：

Timer 性能問題

每個請求進來，Tars-Go 會創建一個協程進行處理，因為要處理調用超時，會創建一個 timer，在結束的時候會刪掉 timer，當并發量一上來，就會頻繁創建和刪除 timer，占用服務大量 CPU 時間。

研發團隊在一個 issue 中發現，在多 CPU 的場景下，如果存在大量的 timer，性能就會大量損耗，優化方式是每個 p 有自己的 timer，這樣可以大幅提升整體并發性能。于是 Tars-Go 將編譯環境升級至 1.10.3，從 profile 來看，性能得到了很大的提升，并且基于時間輪詢算法實現了自己的 timer，以精度換取性能和效率。

net 包的 SetDeadline 調用性能問題

為了設置網絡連接的讀寫超時，Tars-Go 使用了 net 包的 SetReadDeadline/SetWriteDeadline 等相關調用，但從 profile 發現，當并發非常大的時候，會導致這兩個調用占用了大量的 CPU 時間。為了繞開這兩個相關調用，使用了 Sysfd 進行 Socket 讀寫超時的設置。

bytes 的 Buffer 帶來的性能問題

從下圖可以看出，有相當大的一部分時間耗在了 slice 相關的操作上，原來在包的編解碼過程中，使用 bytes.Buffer 進行臨時存放，當 bytes.Buffer 底層用的 byte slice 大小不夠的時候，就會分配一定的內存空間，頻繁地分配效率很低，所以導致大包情況下性能下降比較明顯。

聯想到了 Redis 的內存模型和 Linux 的 slab 機制，對于頻繁創建銷毀的對象，采用預先創建和重復利用的方式。而 Go 本身提供了一種 sync.Pool 機制，供臨時對象的復用，以減少 GC，Tars-Go 在此基礎上，實現了類似 Linux slab 機制分配的 buffer 管理方案，通過這種方案，性能大幅提高。

其他方面的優化