鯤鵬DevKit助力海通證券高效開發互聯網行情系統,性能提升26%
數字技術驅動證券行業發展成為行業內廣泛共識,在經濟業務、財富管理、系統運維、風險管理等領域,數字技術的應用場景在不斷拓寬,移動互聯、人工智能、區塊鏈、云計算等技術的交叉融合應用也逐漸成為證券行業提高運營效率、增強盈利能力的有力抓手。
目前國內多數證券公司可通過數字技術提供遠程開戶、在線交易、智能客服等基礎服務,但與國外領先機構相比,數字技術的應用水平仍存在較大差距,數據治理能力薄弱,數據價值無法得到充分挖掘和發揮的現象較為普遍。證券行業仍需積極推進數字化轉型,探索行業成功的“新業態、新模式”。
互聯網行情系統作為海通證券的關鍵業務系統之一,支持滬、深、北、港美股、國內外期貨、全球指數等國內外31個市場level-1、level-2行情數據的服務,為10萬多只證券,500多個板塊,400多個概念,提供7*24小時行情數據服務,系統累積歷史數據超過25T,日增數據在20G左右。
【互聯網行情系統業務示意圖】
該系統的行情數據更新快慢以及數據的準確性在很大程度上會影響客戶的交易決策,傳統的ICT架構無法支持平臺表現出更強的創造性和競爭力。海通證券對承載該業務的底層基礎設施提出了更高的要求:
高吞吐量
行情系統具有明顯的潮汐特征,每天特定開盤時間段以及牛市期間突發業務量的激增,并發訪問量會高于收盤期間幾十倍,最大系統QPS為200萬/秒,最大推送量高達1400萬筆/秒,同時要求數據準確度達到小數點后4位;
低時延
高頻的行情發布周期決定了對行情系統必須滿足低時延的要求,全鏈路行情數據更新需要在毫秒級完成;
高可靠
證券業務的穩定可靠運行,是行業監管的基本要求,任何1筆數據的丟失會影響最終計算結果,也可能造成客戶損失等問題。
鯤鵬平臺天生的多核高并發、海量吞吐等能力,能夠很好的滿足上述需求,且低功耗能夠節約更多成本;
鯤鵬還提供完善的鯤鵬DevKit開發套件以及專業服務,能夠幫助用戶快速完成應用的遷移、開發、編譯和調優,助力行業應用的高效創新。
基于以上考慮,海通證券與鯤鵬達成了合作意愿,在鯤鵬上原生開發「互聯網行情系統」,通過該方案實現全球31個市場的行情接入、轉碼、分發等主要功能和相關衍生指標的計算。
【互聯網行情系統業務架構圖】
基于動態二進制翻譯工具ExaGear實現互聯網行情系統的快速遷移
在該項目適配鯤鵬的開始階段,開發人員需要將整個互聯網行情系統遷移到鯤鵬平臺上。由于該系統的關鍵組件之一行情轉碼模塊,涉及大量代碼且作為無法找到源碼,給遷移工作帶來不少挑戰:行情轉碼模塊接入了境內外30多個市場的行情數據,很多市場是通過第三方API接入的,但多數第三方既無ARM版本API也暫無支撐改造計劃,項目組無法掌握對應的源碼,導致遷移工作幾乎無法進行。
鯤鵬DevKit針對無源碼遷移場景提供了動態二進制翻譯工具ExaGear,能夠在軟件執行過程中將x86指令直接翻譯為鯤鵬可識別的指令,使得絕大部分x86應用無需重新編譯和修改即可在鯤鵬上運行。最終開發人員屏蔽了底層平臺的差異,高效完成了整個互聯網行情系統的快速遷移,且性能損耗控制在了10%以內。
【動態二進制翻譯工具ExaGear遷移示意圖】
通過畢昇編譯器和性能分析工具助力互聯網行情系統新版本高效開發,性能最高提升26%
遷移完成之后,為持續滿足行情系統的安全穩定、運維高效可控以及迭代靈活等要求,海通證券計劃在鯤鵬平臺上進行該系統新版本的開發迭代。
在開發過程中,為提升編譯效率,將平臺之前使用的開源GCC升級為畢昇編譯器。針對計算密集型、海量數據處理的應用場景,畢昇編譯器基于LLVM針對鯤鵬平臺進行了深度優化,通過使能循環優化,自動向量化,內存布局優化等高性能編譯算法,大幅提升指令和數據吞吐量,最大限度地釋放鯤鵬平臺的強勁算力。
此外,由于分析行情轉發和行情主站兩大模塊需要對基礎行情、分時 K 線成交漲跌排行等數據進行實時分析,對性能要求比較高。因此,在新版本開發完成之后,技術人員還使用了鯤鵬DevKit性能分析工具對這兩個模塊進行了性能優化:
基于系統分析功能進行熱點函數分析,識別到分析行情轉發有一定的數據延遲,在工具的建議下,替換了鯤鵬平臺的匯編指令(如ldaxr、stlxr等),優化之后采用2倍深圳流行情數據進行回放測試,5小時業務壓測下內部延遲縮短了26.42%。
【通過鯤鵬DevKit優化后的行情轉發的性能對比】
基于系統性能分析工具進行進/線程分析,識別到行情主站出現響應延遲,通過鎖優化降低鎖的粒度、將互斥鎖修改為自旋鎖以提高數據處理能力。在相同的配置環境下,25k連接時客戶端響應延遲縮短12.25%。
【通過鯤鵬DevKit優化后的行情主站請求處理的性能對比】
通過上述一系列的性能調優,分析行情轉發的數據處理能力和行情主站并發能力都得到了大幅提升,實現了行情資訊信息的快速轉碼和分發,為用戶提供更及時、優質的行情資訊服務體驗。
目前海通證券「互聯網行情系統」版本已在華為云等平臺上線6個站點,當前總體用戶數超4200萬,月平均活躍數近550萬。該方案也獲得了行業信息技術應用創新基地行業共研課題的最具前瞻價值獎并入選IDC中國金融新基建案例,同時也在鯤鵬應用創新大賽2021上海賽區金融賽道獲得了金獎榮譽。這不僅驗證了該方案的高性能、高兼容性、完整性和成熟度等技術優勢,也是了行業渠道交易云化轉型的重要一步。
作為鯤鵬計算產業生態的重要伙伴,海通證券已與華為建立了戰略合作伙伴關系。未來,海通證券還將聯合鯤鵬,加速推進信息化建設,不斷深化在客戶服務、運營管理、風險合規和財務管理等業務領域的數據應用,全面賦能公司業務創新發展,也為行業金融科技創新貢獻更具競爭力的行業解決方案。
海通證券股份有限公司
海通證券股份有限公司(以下簡稱海通證券)成立于1988年,是國內成立最早、綜合實力最強的證券公司之一,經紀、投行和資產管理等傳統業務位居行業前茅,融資融券、股指期貨和PE投資等創新業務領先行業。作為行業金融科技先行者和探索者,海通證券踐行“數字化轉型”戰略,積極融入國家高質量發展和上海國際金融中心建設大局,準確識變、科學應變、主動求變。