后摩爾時代，如何給你的CPU減負？
?? ??
一、背景介紹
通用處理器(CPU)的摩爾定律已入暮年，而機器學習和Web服務的規模卻在指數級增長。伴隨著當今硬件技術的成熟發展，普通CPU無論是在計算能力，還是資源成本上相對于一些專用硬件已經沒有絕對優勢，這也促使硬件加速技術得到各大公司的青睞，譬如三大互聯網巨頭百度、阿里、騰訊內部的接入層采用類似KeyLess方案來加速HTTPS的卸載，不僅提高了用戶體驗，還節省了機器成本。根據當前調研結果發現：目前業內各大公司接入層針對于Gzip采用硬件加速還是一片空白，阿里接入層首次結合硬件加速技術卸載Gzip不僅帶來了性能提升，而且對業界在此領域的發展也有重大影響意義。
接入層Tengine當前性能瓶頸是CPU，譬如Gzip模塊在Tengine中CPU占比高達15%-20%左右，相比于其它模塊CPU消耗高、占比呈增長趨勢(后端應用壓縮邏輯后續統一前置接入層)、且集中，所以Gzip模塊使用硬件卸載對于性能提升、成本優化是不可或缺。
二、分析與調研
分析前先簡單介紹下什么是硬件加速： 硬件加速(HardwareAcceleration)就是利用硬件模塊來替代軟件算法以充分利用硬件所固有的快速特性(硬件加速通常比軟件算法的效率要高)，從而達到性能提升、成本優化目的，當前主要是如下兩大加速方式：
FPGA 現場可編程門陣列，可針對某個具體的軟件算法進行定制化編程，譬如業內的智能網卡;
ASIC 專用集成電路，它是面向專門用途的電路、專門為一個用戶設計和制造的，譬如Intel的QAT卡僅支持特定加減密、壓縮算法;
FPGA與ASIC的對比如下表格所示：
?? 
2.1、接入層Tengine CPU消耗分析
主站接入層承載集團90%以上的入口流量，看似只是作為一個七層流量轉發網關，但是卻做了非常之多的事情，譬如https卸載及加速、單元化、智能流量轉發策略、灰度分流、限流、安全防攻擊、流量鏡像、鏈路追蹤、頁面打點等等，這一系列功能的背后是Tengine眾多模塊的支持。由于功能點比較多，所以這就導致Tengine的CPU消耗比較分散，其主流程處理如下圖所示：
?? 
各模塊CPU消耗占比Top 5如下表格所示：
?? 
就當前接入層流量模型分析來看，Gzip單個模塊CPU消耗占比達到15%-20%左右(注：主要是壓縮消耗)且占比呈上升趨勢，所以對Gzip使用硬件卸載迫在眉睫。
2.2、加速方案調研
2.2.1、Intel QAT卡
QAT(Quick Assist Technology)是Intel公司推出的一種專用硬件加速卡，不僅對SSL非對稱加解密算法(RSA、ECDH、ECDSA、DH、DSA等)具有加速，而且對數據的壓縮與解壓也具有加速效果;
QAT加速卡提供zlib壓縮算法、且zlib shim對其原生zlib與QAT之間做了適配，調用方式和zlib庫方式基本一致，需在上層業務中開啟zlib QAT模式、相對來說對上層業務改造較少。
2.2.2、智能網卡
INIC(Intelligent Network Interface Card)是網絡研發事業部自研產品，以網絡處理器為核心的高性能網絡接入卡，對于網絡報文數據的處理非常合適，針對Tengine的gzip卸載有如下兩種方案：
a. 提供壓縮API給host，把壓縮數據返回host，由host封包發送;
b. host和網卡約定壓縮flag，host發送未壓縮報文，智能網卡收到后進行壓縮，并且重新封包發送;
2.2.3、FPGA卡
FPGA(Field-Programmable Gate Array)現場可編程門陣列，需要對接入層使用的zlib算法使用硬件語言重新開發、進行電路燒寫，且上層交互驅動也需要從零開發;
方案對比
智能網卡的方案1相比于QAT對zlib處理沒有性能上的優勢，智能網卡只是對zlib進行軟件卸載、相對于QAT并不具有加速作用;其方案2需要把Tengine一部分業務邏輯抽取到網卡中做：如spdy、http2、chunked、ssl對稱加密、響應body限速等邏輯，其成本及風險高，方案3的FPGA方式相對來說開發成本較高、且相關資源匱乏。
綜上所述最終采用QAT加速卡對接入層Tengine的Gzip進行卸載、加速。
三、方案實施
QAT驅動采用UIO(UserspaceI/O)技術，其大部分處于用戶態、只有少部分處理硬件中斷應答等邏輯處于內核態，這樣不僅方便用戶調試，而且還解決了內核不支持浮點數運算的問題。當然QAT加速卡也順應了Docker虛擬化的潮流，其采用SRIOV技術，可以在虛擬機之間高效共享PCIe(Peripheral Component Interconnect Express)設備，當前DH895XCC系列芯片最高可支持32個虛擬機共享QAT，從而達到充分利用硬件資源。其次QAT屬于ASIC模式相比于FPGA具有更好的加速效果，主要原因是由于FPGA為了可重構，導致其邏輯查找表、觸發器眾多以及相同邏輯電路在布線上延時變大。
接入層Tengine目前采用的是下圖左邊的實線加速鏈路，其中Zlib Shim、QAT User Space Api、QAT Driver作為Tengine Gzip與底層硬件QAT的通信適配層，此方式對上層業務入侵較小、其軟件架構如下圖所示：
?? 
雖然該方案看起來比較簡單，但是真正線上實施的時候還是遇到了非常多的問題(功能、性能方面)，譬如：
3.1、架構不合理
- a. 使用的第一版驅動Intel-Qat2.6.0-60，當QPS為1k左右時CPU很快打滿(注：正常情況下QPS為1k時，CPU消耗6%左右)，且CPU消耗中90%以上都是消耗在內核態，如下圖所示：
?? 
使用strace進行相關系統熱點函數統計發現，其CPU主要消耗在ioctl系統函數上，如下所示：
?? 
通過perf查看ioctl主要是執行內存分配命令，由于Zlib Shim需要開辟連續的物理內存、所以出現頻繁調用 compact_zone進行內碎片整理，其調用熱的高達88.096%，如下圖所示(注：熱度表示該函數該函數自身的熱度、調出： 表示被調用函數的熱度總和、總體： 熱度 + 調出)：
?? 
同Intel研發聯調討論后發現是由于當前Intel QAT的Zlib Shim的模型不合理所導致，通過推動其改造采用OOT的內存管理模塊USDM(內部維護一個HugePage內存池)方案解決。
- b. 使用上述問題解決后的驅動intel-qatOOT31092，測試后發現CPU節省效果不佳(用戶態CPU減少、但是增加了內核態的CPU)，經分析、發現使用QAT加速后，部分系統函數CPU占比變高，如 open、ioctl、futex，如下圖所示(注：左邊的是使用QAT后各系統熱點函數)，使用QAT后open、ioctl、futex執行時間占比高達8.95(注：3.91 + 2.68 + 2.36)，而未使用版本對應占比時間才0.44(注：0.24 + 0.14 + 0.06);
?? 
分析其Tengine的worker進程堆棧信息發現open、ioctl都是成對出現(即一次http請求出現4次該系統調用)，該現象反饋給Intel的研發同學后得知是由于新驅動的Zlib Shim導致，通過優化改造后open、ioctl調用頻率明顯減少。但是其futex系統調用頻度卻沒有減少，還是導致內核態的CPU占比較高，通過strace跟蹤發現一個http壓縮請求后會多次調用futex、如下圖所示，同Intel研發同學了解到Zlib Shim采用多線程方式，其futex操作來自zlib shim等待QAT壓縮或解壓縮數據返回的邏輯。
?? 
由于Tengine是多進程單線程、采用epoll異步IO事件模式，聯調Intel的研發同學對Zlib Shim進行改造(去線程)，最終futex系統調用也明顯減少。
通過分析并推動Intel對QAT進行多次架構上的改造，才使得QAT的加速特性更好的發揮。
3.2、功能不完善
- a. 使用QAT后執行reload，可能導致請求響應異常，如下所示：
?? 
由于每個worker進程都需要分配一個QAT Instance用于數據解壓縮，Tengine在reload的瞬間worker進程數可能會翻倍、而QAT Instance初始版本只有64個、所以新啟動的worker進程可能分配不到Instance、導致請求失敗。
針對此問題Intel提供的新版本QAT，其Instance數量從64提高到256個避免此問題的發生，同時我們提出容災保護方案：當Instance無法分配了需要自動降級為軟件壓縮，提高其可用性。
- b. Zlib Shim huge page內存泄漏，導致QAT驅動core dump：
Tengine使用內存池模式進行內存的管理，即調用(In)DeflateInit分配的空間無需調用(In)DeflateEnd處理、在請求結束的時候會調用請求r相關的釋放操作，進行內存的歸還，但是由于Zlib Shim使用的huge page必須調用(In)DeflateEnd才釋放給USDM，通過改造Tengine Gzip相關代碼后，該問題得以解決，而QAT驅動的core dump也是由于hugepage的泄漏導致無法成功分配導致。
- c. Zlib Shim狀態機不完善導致特定場景下的壓縮、解壓縮請求異常，等眾多問題就不一一介紹。
一路走來，通過無數次的性能優化、功能測試，多次同Intel研發同學一起探討之后，才使得QAT在功能、性能、架構方面等眾多問題得以快速解決，下面就準備上線前期準備工作。
3.3、運維梳理
部署發布
采用單rpm軟件包、雙二進制模式，從而降低軟件版與硬件加速版之間的耦合度，自動識別部署機器是否開啟QAT，并選擇正確的二進制執行;
容災保護
運行過程中由于某種資源的缺乏導致硬件加速版本Gzip執行失敗，將會自動切換為軟件版本、待資源可用時自動切換到硬件加速版本;
可維護與監控
雖然上線前做過一系列壓測、穩定性并未出現異常，但對硬件加速的相關資源指標進行實時監控還是必不可少;
四、加速效果
測試機器
cpu型號：Intel(R) Xeon(R) CPU E5-2650 v2 @ 2.60GHz 32核 內核：2.6.32 Zlib版本：zlib-1.2.8 QAT驅動版本：intel-qatOOT40052
數據對比
同等條件下，開啟QAT加速后CPU平均值為41%左右，未開啟QAT加速的CPU平均值為48%左右，如下圖所示：
?? 
相同條件下，開啟QAT加速后系統load平均值為12.09，關閉QAT加速時系統load平均值為14.22，如下圖所示：
?? 
相同條件下，開啟與關閉QAT加速后，響應RT波動不相上下，如下所示：
?? 
同等條件下，各模塊熱點函數圖對比如下所示，其中紅色圈中的是Gzip相關函數
(注：左側是開啟QAT加速)：
?? 
同比條件下Tengine Gzip使用QAT加速卡后，CPU消耗從48%下降到41%，系統負載load下降2個，且根據模塊熱點函數圖對比發現Gzip基本上已經完全卸載。
?? 
結論
綜上數據對比，當qps為10k左右時Tengine Gzip使用QAT加速后CPU節省15%左右，且Gzip基本上完全卸載、隨著其占比變高，優化效果將越好。
五、總結
接入層Tengine Gzip硬件加速項目是阿里存儲技術Tair&Tengine團隊及服務器研發計算團隊與英特爾數據中心網絡平臺團隊齊心協力下的產物，不僅帶來了性能提升，而且使得接入層在硬件加速領域再次打下了堅實的基礎、為明年SSL+Gzip架構上整合做好了沉淀，同時也填充了業內接入層對Gzip采用硬件加速的空白，對此領域的發展具有一定的影響意義。
【本文為51CTO專欄作者“阿里巴巴官方技術”原創稿件，轉載請聯系原作者】
