一、端到端質(zhì)量提升背景

在移動(dòng)互聯(lián)網(wǎng)和智能化時(shí)代，手機(jī)App軟件已經(jīng)成為方便工作和生活的重要工具。為了提升用戶體驗(yàn)，打造精品汽車消費(fèi)者陣地，汽車之家對(duì)App服務(wù)質(zhì)量問(wèn)題進(jìn)行了全方位的專項(xiàng)治理。

二、端到端全鏈路服務(wù)質(zhì)量問(wèn)題

在實(shí)際運(yùn)營(yíng)中，App用戶到服務(wù)端的鏈路長(zhǎng)復(fù)雜性較高，存在著眾多的網(wǎng)絡(luò)鏈路和節(jié)點(diǎn)包括移動(dòng)設(shè)備、無(wú)線網(wǎng)絡(luò)、核心網(wǎng)、服務(wù)網(wǎng)等。在這樣一個(gè)大規(guī)模的分布式環(huán)境中，系統(tǒng)的質(zhì)量和性能對(duì)于用戶體驗(yàn)和服務(wù)的穩(wěn)定性至關(guān)重要。在這些環(huán)節(jié)中，一旦出現(xiàn)低質(zhì)量請(qǐng)求和異常，影響整個(gè)系統(tǒng)的性能和穩(wěn)定性，導(dǎo)致用戶App端上訪問(wèn)問(wèn)題，如響應(yīng)慢、響應(yīng)卡頓、錯(cuò)誤等，特別是在流量峰值時(shí)期，容易引起系統(tǒng)崩潰和服務(wù)不可用等問(wèn)題，嚴(yán)重影響用戶的使用體驗(yàn)。因此，如何進(jìn)行端到端全鏈路低質(zhì)量請(qǐng)求治理，提升系統(tǒng)的質(zhì)量和性能成為了一個(gè)迫切的需求。

三、端到端鏈路低質(zhì)量請(qǐng)求治理系統(tǒng)化方案

在實(shí)施端到端全鏈路低質(zhì)量請(qǐng)求治理方案的過(guò)程中，綜合分析端到端全鏈路低質(zhì)量請(qǐng)求治理是一個(gè)全局性、復(fù)雜性的問(wèn)題。需要綜合運(yùn)用多種技術(shù)和管理手段，充分考慮不同的業(yè)務(wù)場(chǎng)景和用戶需求，探索科學(xué)的治理方法、有效治理手段、工具化建設(shè)、系統(tǒng)化架構(gòu)升級(jí)，其次通過(guò)加強(qiáng)團(tuán)隊(duì)協(xié)作、實(shí)時(shí)監(jiān)控、及時(shí)預(yù)警等管理手段，保障系統(tǒng)的安全和穩(wěn)定運(yùn)行同時(shí)提升全鏈路系統(tǒng)質(zhì)量和性能。

1、建立端到端全鏈路低質(zhì)量請(qǐng)求標(biāo)準(zhǔn)

低質(zhì)量請(qǐng)求治理首先是需要確定“用戶從App客戶端到服務(wù)端訪問(wèn)”低質(zhì)量請(qǐng)求有效識(shí)別方法和邏輯。共識(shí)指標(biāo)、量化具體鏈路節(jié)點(diǎn)服務(wù)問(wèn)題，幫助各個(gè)部門和團(tuán)隊(duì)對(duì)于低質(zhì)量請(qǐng)求的概念達(dá)成一致，為治理工作提供基礎(chǔ)和共同語(yǔ)言，明確相關(guān)部門和人員在低質(zhì)量請(qǐng)求治理中的職責(zé)和權(quán)限，進(jìn)而保障治理工作的高效執(zhí)行，另外便于進(jìn)行監(jiān)督和評(píng)估，確保治理工作按照既定標(biāo)準(zhǔn)開展。

具體“低質(zhì)量請(qǐng)求”LQR為判斷后端服務(wù)質(zhì)量標(biāo)準(zhǔn)是：整體以主App端上秒開率（1000ms）為基準(zhǔn)，定義了客戶端請(qǐng)求耗時(shí)（渲染<150ms）+ 后端請(qǐng)求耗時(shí)（網(wǎng)絡(luò)平響<600ms、服務(wù)平響<250ms ），即后端治理方向以“低質(zhì)量請(qǐng)求 (LQR): ”耗時(shí)>850ms OR 狀態(tài)碼 !=2/3XX為判斷標(biāo)準(zhǔn)。

2、建立低質(zhì)量請(qǐng)求指標(biāo)分析大盤

收集打通客戶端網(wǎng)絡(luò)庫(kù)、CDN、負(fù)載、源站，整合端到端的全鏈路日志，基于大數(shù)據(jù)分析建立低質(zhì)量請(qǐng)求治理大盤，從而更加精準(zhǔn)地把握服務(wù)質(zhì)量情況，可以及時(shí)發(fā)現(xiàn)低質(zhì)量請(qǐng)求問(wèn)題，快速響應(yīng)和處理。同時(shí)，也能夠系統(tǒng)地展示、分析和監(jiān)控各個(gè)環(huán)節(jié)的數(shù)據(jù)，幫助團(tuán)隊(duì)快速定位問(wèn)題，提高治理效率，在指標(biāo)大盤中，每個(gè)指標(biāo)都與相應(yīng)的部門和負(fù)責(zé)人對(duì)應(yīng)，明確了責(zé)任歸屬。低質(zhì)量請(qǐng)求大盤數(shù)據(jù)包括域名、接口、網(wǎng)絡(luò)類型、協(xié)議、版本、模塊、地域、運(yùn)營(yíng)商、網(wǎng)絡(luò)類型、負(fù)載、源站、部門、負(fù)責(zé)人的指標(biāo)問(wèn)題分類，通過(guò)大盤指標(biāo)分析確定主App低質(zhì)量請(qǐng)求(LQR)處于較高水位，整體LQR占比超7%、日影響用戶幾百萬(wàn)；低質(zhì)量請(qǐng)求大盤實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)運(yùn)營(yíng)、信息共享，為整體推動(dòng)各團(tuán)隊(duì)全面治理低質(zhì)量問(wèn)題提供了強(qiáng)有力的數(shù)據(jù)支撐。

從低質(zhì)量請(qǐng)求治理大盤整體分析，App端到端全鏈路低質(zhì)量幾個(gè)主要問(wèn)題和治理的大概思路：

客戶端方面：網(wǎng)絡(luò)庫(kù)日志分析發(fā)現(xiàn)，客戶端大量TCP連接的建立和釋放，增加了請(qǐng)求延遲和資源消耗，影響訪問(wèn)速度和效率。這可能是由于客戶端缺乏對(duì)連接復(fù)用以及長(zhǎng)連接管理等機(jī)制造成的。解決方向是提升長(zhǎng)連接，減少TCP連接的建立和釋放次數(shù)，降低服務(wù)器負(fù)擔(dān)和提高請(qǐng)求處理效率。

網(wǎng)絡(luò)鏈路方面：由于CDN網(wǎng)絡(luò)質(zhì)量差、節(jié)點(diǎn)過(guò)于集中、負(fù)載過(guò)高等原因引起CDN節(jié)點(diǎn)不穩(wěn)定或異常，導(dǎo)致請(qǐng)求訪問(wèn)延遲和請(qǐng)求失敗。本地網(wǎng)絡(luò)環(huán)境不好，域名使用本地DNS進(jìn)行解析過(guò)程耗時(shí)較長(zhǎng)、訪問(wèn)速度慢、域名被惡意劫持。使用的HTTP協(xié)議版本較老、未開啟HTTP/2、未使用更高效的加密協(xié)議，無(wú)法多路復(fù)用請(qǐng)求串行發(fā)送，影響并發(fā)處理能力、訪問(wèn)數(shù)據(jù)傳輸速度、穩(wěn)定性和可靠性。

服務(wù)端方面：負(fù)載均衡LB到源站鏈路長(zhǎng)、鏈路復(fù)雜、應(yīng)用源站接口邏輯復(fù)雜導(dǎo)致后端整體返回平均響應(yīng)耗時(shí)長(zhǎng)、錯(cuò)誤率高。這可能是由于負(fù)載均衡算法不合理、源站負(fù)載過(guò)高、源站接口存在瓶頸等原因引起的。解決方法包括優(yōu)化服務(wù)端架構(gòu)、采用更先進(jìn)的負(fù)載均衡算法、優(yōu)化接口邏輯、加強(qiáng)監(jiān)控和診斷等方式來(lái)提高服務(wù)端性能和穩(wěn)定性。

四、后端系統(tǒng)建設(shè)“智網(wǎng)”端到端的鏈路擇優(yōu)治理平臺(tái)落地

為解決現(xiàn)有業(yè)務(wù)域名多、建連次數(shù)多、訪問(wèn)性能損耗、切換CDN性能損耗等問(wèn)題。客戶端與后端負(fù)載整體改造公共域名收斂的方式，降低客戶端建連次數(shù)；其次是分析評(píng)估建立多個(gè)CDN廠商節(jié)點(diǎn)質(zhì)量，并進(jìn)行智能擇優(yōu)調(diào)度，提升性能及可靠性；另外整體的端到端全鏈路最優(yōu)配置；因此“智網(wǎng)”是一個(gè)綜合提升性能與穩(wěn)定性的低質(zhì)量請(qǐng)求治理系統(tǒng)。

客戶端升級(jí)支持域名統(tǒng)一收斂技術(shù)架構(gòu)，核心思路是將上百個(gè)域名收斂到幾個(gè)域名，減少 DNS 查詢、減少 TCP 連接建立時(shí)間和提高網(wǎng)絡(luò)帶寬利用率，提升連接復(fù)用率，這些優(yōu)勢(shì)可以提高系統(tǒng)鏈路性能，具體表現(xiàn)在以下幾個(gè)方面：

減少 DNS 查詢：通過(guò)客戶端域名統(tǒng)一收斂，不同的服務(wù)共享同一個(gè)域名。這樣可以減少 DNS 查詢次數(shù)，縮短域名解析時(shí)間，從而加快網(wǎng)頁(yè)加載速度。

減少 TCP 連接建立時(shí)間：TCP 是一種面向連接的協(xié)議，每次建立連接都需要進(jìn)行握手和斷開操作，這會(huì)消耗很多時(shí)間和資源。通過(guò)客戶端域名統(tǒng)一收斂，可以將多個(gè)請(qǐng)求集成到同一個(gè) TCP 連接中，避免重復(fù)建立和斷開連接，從而減少了連接建立的時(shí)間和開銷。

提高網(wǎng)絡(luò)帶寬利用率：通過(guò)客戶端域名統(tǒng)一收斂，可以將多個(gè)請(qǐng)求打包到同一個(gè) TCP 連接中，從而減少請(qǐng)求和響應(yīng)之間的網(wǎng)絡(luò)延遲，提高網(wǎng)絡(luò)帶寬利用率。這對(duì)于大流量的企業(yè)系統(tǒng)尤其重要，可以有效地降低網(wǎng)絡(luò)帶寬成本。

1、域名統(tǒng)一收斂架構(gòu)

需要在服務(wù)器端和客戶端都進(jìn)行相應(yīng)的配置和開發(fā)工作，方案關(guān)鍵技術(shù)：使用統(tǒng)一的域名服務(wù)器、反向代理、連接池技術(shù)，實(shí)現(xiàn)客戶端域名統(tǒng)一收斂，提高系統(tǒng)的質(zhì)量和性能：

建立一個(gè)統(tǒng)一的域名服務(wù)器：在這個(gè)服務(wù)器中配置好所有需要訪問(wèn)的服務(wù)的 IP 地址和對(duì)應(yīng)的域名。在客戶端請(qǐng)求時(shí)，通過(guò)該統(tǒng)一的域名服務(wù)器將請(qǐng)求轉(zhuǎn)發(fā)到對(duì)應(yīng)的服務(wù)。

使用反向代理：通過(guò)在服務(wù)器端配置反向代理，將多個(gè)不同的服務(wù)映射到同一個(gè)域名下。這樣客戶端只需使用一個(gè)域名就可以訪問(wèn)多個(gè)服務(wù)。

使用連接池技術(shù)：指在程序啟動(dòng)時(shí)預(yù)先創(chuàng)建一定數(shù)量連接，并將這些連接保存在一個(gè)池子里。當(dāng)客戶端需要訪問(wèn)HTTP 服務(wù)時(shí)，從連接池中選取一個(gè)可用的連接進(jìn)行操作。這種方式可以避免頻繁地建立和斷開連接，提高連接復(fù)用率。

具體方案是收斂域名個(gè)數(shù)與CDN個(gè)數(shù)對(duì)齊，分別為百度a.xxxxxx.cn，金山b.xxxxxx.cn，平安c.xxxxxx.cn以及華為d.xxxxxx.cn，收斂規(guī)則為請(qǐng)求的url前面增加收斂域名，原域名變?yōu)槭諗坑蛎囊患?jí)path，請(qǐng)求子path和參數(shù)不變。

例如，將xx.app.autohome.com.cn/v1/args?key=xxx替換為a.xxxxxx.cn/xxx.app.autohome.com.cn/v8/args?key=xxx。

客戶端進(jìn)行收斂域名替換，可以更好地控制質(zhì)量，同時(shí)切實(shí)達(dá)到最終收斂的目的。

架構(gòu)調(diào)用過(guò)程：

• App冷啟動(dòng)時(shí)，調(diào)用CDN接口，獲取擇優(yōu)的收斂域名（如果擇優(yōu)接口調(diào)用失敗，走非收斂方式請(qǐng)求業(yè)務(wù)真實(shí)域名）(客戶端添加緩存,啟動(dòng)優(yōu)先用緩存), 接口返回立即啟用擇優(yōu)域名。
• 客戶端請(qǐng)求D+，對(duì)擇優(yōu)域-收斂域名進(jìn)行解析，獲取CDN節(jié)點(diǎn)IP。
• 客戶端與CDN節(jié)點(diǎn)IP進(jìn)行http2、http3（通過(guò)客戶端開關(guān)和服務(wù)端CDN支持決定是否最終開啟）連接保持。
• App啟動(dòng)完成后，立即對(duì)剩余對(duì)應(yīng)其他CDN廠家的收斂域名進(jìn)行建聯(lián)，同時(shí)定時(shí)45s分鐘保持建聯(lián)。
• 如果發(fā)現(xiàn)擇優(yōu)域名接口返回收斂域名發(fā)生變化，判斷切換成本，進(jìn)行立即切換，并復(fù)用上述鏈接，進(jìn)行快速建聯(lián)。
• 客戶端發(fā)起的URL請(qǐng)求需要從底層對(duì)URL進(jìn)行轉(zhuǎn)換，前面增加收斂域名，形成收斂URL，并進(jìn)行請(qǐng)求。
• Proxy-NG收到收斂URL，進(jìn)行還原并訪問(wèn)到最終源站，請(qǐng)求完成。

2、智能分析CDN資源

了解用戶的地理位置、設(shè)備類型和網(wǎng)絡(luò)環(huán)境等信息，該功能通過(guò)比較CDN廠商在特定地區(qū)的網(wǎng)絡(luò)質(zhì)量指標(biāo)，例如延遲、帶寬等，來(lái)確定最佳的CDN廠商和邊緣節(jié)點(diǎn)，根據(jù)這些信息用于調(diào)度用戶擇優(yōu)邊緣節(jié)點(diǎn)。實(shí)現(xiàn)方案是App在啟動(dòng)時(shí)會(huì)上報(bào)請(qǐng)求埋點(diǎn)域名相關(guān)信息，不同埋點(diǎn)域名解析到不同的CDN廠商，這些域名的請(qǐng)求信息會(huì)跟隨其他的訪問(wèn)日志一起寫入到網(wǎng)絡(luò)庫(kù)日志。系統(tǒng)會(huì)收集所有的埋點(diǎn)數(shù)據(jù)，運(yùn)營(yíng)商、根據(jù)客戶端ip獲取地區(qū)信息、耗時(shí)和錯(cuò)誤率信息，根據(jù)時(shí)間-地區(qū)-運(yùn)營(yíng)商-CDN廠商（源站），通過(guò)flink獲取網(wǎng)絡(luò)庫(kù)的日志數(shù)據(jù)，對(duì)各個(gè)省份各個(gè)城市數(shù)據(jù)進(jìn)行整合放入vm集群中，然后通過(guò)算法每十分鐘獲取前半個(gè)小時(shí)內(nèi)各個(gè)區(qū)域的平響和錯(cuò)誤率， 根據(jù)平響和錯(cuò)誤率計(jì)算出該地區(qū)最優(yōu)質(zhì)的cdn廠商。

3、CDN擇優(yōu)/容災(zāi)調(diào)度

CDN擇優(yōu)功能是一種高效、智能的CDN節(jié)點(diǎn)選擇機(jī)制，根據(jù)用戶的地理位置和智能分析的CDN節(jié)點(diǎn)質(zhì)量，智能地選擇最優(yōu)的CDN節(jié)點(diǎn)，提高網(wǎng)絡(luò)性能和可用性；另外域名所使用的CDN出現(xiàn)問(wèn)題時(shí)，客戶端能夠快速將連接切換到其他CDN廠家，以確保業(yè)務(wù)不中斷，因此提升服務(wù)訪問(wèn)性能和可靠性。服務(wù)端核心流程：

• 服務(wù)端根據(jù)用戶端IP計(jì)算出當(dāng)前用戶的大致地理位置。
• 根據(jù)用戶的網(wǎng)絡(luò)日志域名解析到的IP匹配對(duì)應(yīng)的CDN節(jié)點(diǎn)。
• 根據(jù)用戶的網(wǎng)絡(luò)日志,計(jì)算出當(dāng)前域名/IP節(jié)點(diǎn)的請(qǐng)求錯(cuò)誤率。
• 根據(jù)不同地區(qū)/CDN維度下的錯(cuò)誤率, 決策出當(dāng)前地區(qū)最優(yōu)的CDN廠商。
• 篩選出異常錯(cuò)誤率的IP節(jié)點(diǎn)。
• 切換當(dāng)前地區(qū)CDN的流量, 下發(fā)最優(yōu)CDN列表和異常IP列表給用戶端。

4、端到端全鏈路最優(yōu)最佳實(shí)踐策略

綜合網(wǎng)絡(luò)鏈路、CDN配置、負(fù)載源站鏈路多種技術(shù)手段提高數(shù)據(jù)傳輸效率和可靠性。

域名解析到優(yōu)質(zhì)CDN廠商：優(yōu)質(zhì)鏈路，提高請(qǐng)求成功率和可靠性。

端上域名啟用HTTPDNS：加速DNS解析，減少了不必要的域名解析時(shí)間和延遲，有效避免DNS劫持，提升網(wǎng)絡(luò)請(qǐng)求的速度和響應(yīng)效率，提高請(qǐng)求成功率和可靠性。

端上域名TTL時(shí)間調(diào)整為60s：加快更新DNS緩存以及更快地獲取新的IP地址，降低DNS解析的延遲時(shí)間。

CDN開啟HTTP2.0協(xié)議：利用二進(jìn)制協(xié)議替換了文本協(xié)議，通過(guò)頭部壓縮、流控、優(yōu)先級(jí)等技術(shù)提升了性能和效率，實(shí)現(xiàn)多路復(fù)用，使得單個(gè)連接中同時(shí)處理多個(gè)請(qǐng)求和響應(yīng)，提高網(wǎng)絡(luò)傳輸效率。

CDN開啟GZIP、BR壓縮：可以顯著地降低減小數(shù)據(jù)傳輸?shù)拇笮。岣呔W(wǎng)絡(luò)傳輸效率，減少用戶等待時(shí)間。

描述：開啟GZIP、BR壓縮可以。

CDN開啟TLSv1.3協(xié)議：該協(xié)議具有更高的安全性和可靠性，有效防止網(wǎng)絡(luò)攻擊和數(shù)據(jù)泄露，相比目前在用TLSv1.2協(xié)議建聯(lián)過(guò)程可以減少1RTT，提高網(wǎng)絡(luò)傳輸?shù)陌踩院涂煽啃浴?/span>

CDN開啟HTTP回源：可快速向源站請(qǐng)求資源并更新緩存，減少CDN與源站SSL建聯(lián)時(shí)間，提高服務(wù)響應(yīng)速度。

源站負(fù)載到應(yīng)用保持長(zhǎng)連接：避免頻繁的連接建立和關(guān)閉維護(hù)的開銷，降低網(wǎng)絡(luò)傳輸?shù)难舆t，提高網(wǎng)絡(luò)傳輸效率。

源站精簡(jiǎn)鏈路：減少服務(wù)傳輸?shù)闹虚g負(fù)載、減少不必要的網(wǎng)絡(luò)傳輸，提高數(shù)據(jù)傳輸?shù)男屎头€(wěn)定性；保證信息傳輸通暢和快速。

五、端到端全鏈路質(zhì)量治理成果

通過(guò)App域名收斂與智能擇優(yōu)體系落地，解決CDN廠商故障業(yè)務(wù)無(wú)縫切換，CDN節(jié)點(diǎn)智能擇優(yōu)，用戶鏈路優(yōu)中選優(yōu)，客戶端統(tǒng)一收斂域名，服務(wù)端透明無(wú)感50%以上的流量切到到主要 4個(gè)收斂域名，大大提高連接復(fù)用，降低網(wǎng)絡(luò)開銷，主App低質(zhì)量請(qǐng)求經(jīng)過(guò)多個(gè)技術(shù)團(tuán)隊(duì)協(xié)同治理大幅降低7.x%到2.x%，實(shí)現(xiàn)百萬(wàn)用戶端到端體驗(yàn)提升。

六、端到端全鏈路質(zhì)量治理未來(lái)規(guī)劃

持續(xù)的完善端到端的質(zhì)量治理體系與工具化能力建設(shè)，結(jié)合更加智能化的機(jī)器學(xué)習(xí)等技術(shù)工具，實(shí)現(xiàn)自動(dòng)化地監(jiān)控系統(tǒng)各環(huán)節(jié)的關(guān)鍵指標(biāo)，快速發(fā)現(xiàn)和排除問(wèn)題，提高整個(gè)系統(tǒng)的可靠性和魯棒性。

在App端到端全鏈路接口低質(zhì)量請(qǐng)求治理基礎(chǔ)上，開啟全資源質(zhì)量治理進(jìn)程，建立圖片、視頻低質(zhì)量識(shí)別與治理體系，對(duì)多媒體資源進(jìn)行有效的壓縮、加速和保護(hù)，以提高用戶的訪問(wèn)速度和安全性，持續(xù)的治理低質(zhì)量請(qǐng)求，度提高主App訪問(wèn)速度、降低故障率、增強(qiáng)數(shù)據(jù)的安全性和穩(wěn)定性，提升用戶交互體驗(yàn)，從而提高用戶滿意度和市場(chǎng)競(jìng)爭(zhēng)力，進(jìn)一步增強(qiáng)用戶粘性和轉(zhuǎn)化率。