如何評(píng)價(jià)接口自動(dòng)化項(xiàng)目

我理想中的接口自動(dòng)化項(xiàng)目，是有一套腳本，能夠100%覆蓋核心業(yè)務(wù)場景，能夠回歸線上頻繁出現(xiàn)的問題，能夠支持手工無法驗(yàn)證的場景，能夠拋出偶現(xiàn)問題，能夠包含容易遺漏的邊界場景、異常場景，每天都能定時(shí)運(yùn)行，出具報(bào)告，給予反饋。用實(shí)際的「指標(biāo)量化」下：

• 功能測試自動(dòng)化率 = 自動(dòng)化測試用例數(shù)/總測試用例數(shù)。
• 自動(dòng)化發(fā)現(xiàn)bug占比 = 自動(dòng)化發(fā)現(xiàn)的bug/總bug數(shù)。
• 自動(dòng)化發(fā)現(xiàn)bug有效性 = 自動(dòng)化發(fā)現(xiàn)的有效bug/自動(dòng)化提交的bug總數(shù)。
• 自動(dòng)化執(zhí)行成功率 = 自動(dòng)化執(zhí)行成功的次數(shù)/自動(dòng)化執(zhí)行總次數(shù)。
• 周活躍自動(dòng)化用例占比 = (∑每周執(zhí)行過的自動(dòng)化測試用例)/(∑周維度自動(dòng)化測試用例)。
• 應(yīng)用維度自動(dòng)化代碼覆蓋率 = 自動(dòng)化用例覆蓋代碼行數(shù)/應(yīng)用維度代碼總行數(shù)。

現(xiàn)狀是什么(Situation)

我負(fù)責(zé)的業(yè)務(wù)是發(fā)票中臺(tái)，數(shù)據(jù)流簡化后如下圖所示：

發(fā)票中臺(tái)對調(diào)用方提供RPC服務(wù)，底層有讀寫MySQL、同步ES、消息隊(duì)列、異步任務(wù)等服務(wù)，上游是用戶和訂單，需要賬號(hào)、增票資質(zhì)、訂單等物料；下游是財(cái)務(wù)，推送申請單給財(cái)務(wù)開具發(fā)票等。發(fā)票的接口自動(dòng)化在多年前是寫了的，用Java+TestNG+RPC本地化了一套框架來實(shí)現(xiàn)，因?yàn)槿藛T離職和業(yè)務(wù)變更，這套自動(dòng)化到我手上的時(shí)候，已經(jīng)不能用了，本地化的接口自動(dòng)化項(xiàng)目也無法做數(shù)據(jù)度量，只有接口測試平臺(tái)寫的自動(dòng)化用例才會(huì)被統(tǒng)計(jì)到。

任務(wù)是什么(Task)

我給自己定的績效是在Q2完成95條自動(dòng)化用例，按照一個(gè)標(biāo)準(zhǔn)化的自動(dòng)化項(xiàng)目來實(shí)現(xiàn)發(fā)票的接口自動(dòng)化，結(jié)合測試環(huán)境、測試物料、流水線、精準(zhǔn)分析，打造一個(gè)個(gè)人的穩(wěn)定的沉淀物，無論是晉升還是求職，都能拿來講點(diǎn)故事。

行動(dòng)是什么(Action)

「編寫自動(dòng)化用例的方式」

• 最理想的方式，是能夠錄制線上流量直接轉(zhuǎn)換為自動(dòng)化用例，修修改改即可。雖然我們有流量錄制回放平臺(tái)，但是它跟接口自動(dòng)化平臺(tái)并沒有打通，很可惜不能采取這種方式。
• 參考線上流量日志，抓取接口、入?yún)ⅲ斯まD(zhuǎn)化為自動(dòng)化用例。
• 參考接口的代碼設(shè)計(jì)，比如controller/provider/sdk都定義了應(yīng)用接口，能知道哪些覆蓋到了，哪些還需要補(bǔ)充。
• 根據(jù)入?yún)⒛０遄孕袠?gòu)造參數(shù)。參數(shù)個(gè)數(shù)太多的話造起來很麻煩。我主要采用第2種和第3種方式結(jié)合來編寫自動(dòng)化用例。

「典型自動(dòng)化用例」

前置步驟：初始化數(shù)據(jù)，將訂單發(fā)票類型更新為3。預(yù)設(shè)變量：提供參數(shù)化數(shù)據(jù)。執(zhí)行步驟：調(diào)用修改訂單發(fā)票類型接口，將發(fā)票類型3改為2，入?yún)⒁妙A(yù)設(shè)變量。財(cái)務(wù)接口：依賴測試物料無法滿足，通過Mock來返回模板數(shù)據(jù)，讓接口繼續(xù)往下走。基礎(chǔ)斷言：接口響應(yīng)狀態(tài)碼200。業(yè)務(wù)斷言：調(diào)用訂單列表查詢接口，用JSONPath提取響應(yīng)中的發(fā)票類型，斷言已經(jīng)改成了2。

場景用例

數(shù)據(jù)準(zhǔn)備：通過物料工具造訂單數(shù)據(jù)，寫入MySQL數(shù)據(jù)庫中。

更新MySQL數(shù)據(jù)：更新訂單的部分字段數(shù)據(jù)，觸發(fā)binlake，將數(shù)據(jù)同步至ES，因?yàn)樘峤婚_票申請是讀取的ES數(shù)據(jù)；從預(yù)設(shè)變量獲取orderId。

提交開票申請：從ES讀取訂單數(shù)據(jù)，提交開票申請；從預(yù)設(shè)變量獲取orderId和userId。

查詢申請單號(hào)：根據(jù)訂單號(hào)查詢申請單號(hào)；從預(yù)設(shè)變量獲取orderId和userId。用JSONPath提取申請單號(hào)，存入動(dòng)態(tài)變量中。推送財(cái)務(wù)：把申請單號(hào)推送給財(cái)務(wù)；從動(dòng)態(tài)變量獲取applyId。

覆蓋更多代碼

①看代碼：

在Java工程里面的Controller/Provider找到所有接口，分析可以用來做自動(dòng)化的接口，設(shè)計(jì)自動(dòng)化用例進(jìn)行覆蓋。

②代碼覆蓋率：

借助于jacoco，在執(zhí)行自動(dòng)化用例后，把代碼覆蓋率跑出來，分析沒覆蓋的代碼，補(bǔ)充更多「正常/異常/邊界」的自動(dòng)化用例。也就是精準(zhǔn)測試。

自動(dòng)化巡檢

每天早上8點(diǎn)，定時(shí)任務(wù)執(zhí)行用例集；發(fā)送郵件，抄送測試組、開發(fā)組、領(lǐng)導(dǎo)，讓測試、開發(fā)和領(lǐng)導(dǎo)都知道自動(dòng)化建設(shè)情況；如果出現(xiàn)問題，一定要在當(dāng)天解決，并郵件回復(fù)問題原因；確保當(dāng)天的自動(dòng)化用例結(jié)果都是正確的；第二天接著繼續(xù)巡檢。

流水線

在持續(xù)集成中，引入自動(dòng)化用例環(huán)節(jié)，把自動(dòng)化用例跑通作為提測卡點(diǎn)，不通過可以駁回。

產(chǎn)出是什么(Result)

定性來看：「結(jié)合測試環(huán)境、測試物料、自動(dòng)化、流水線、精準(zhǔn)測試，完成了一個(gè)能對環(huán)境和業(yè)務(wù)進(jìn)行穩(wěn)定性巡檢，能對研發(fā)提測進(jìn)行質(zhì)量門禁，能對應(yīng)用進(jìn)行代碼覆蓋率分析的接口自動(dòng)化項(xiàng)目。」定量來看：

• 功能測試自動(dòng)化率 = 自動(dòng)化測試用例數(shù)/總測試用例數(shù)「95/100=95%」。
• 自動(dòng)化發(fā)現(xiàn)bug占比 = 自動(dòng)化發(fā)現(xiàn)的bug/總bug數(shù)「2/53=3.7%」。
• 自動(dòng)化發(fā)現(xiàn)bug有效性 = 自動(dòng)化發(fā)現(xiàn)的有效bug/自動(dòng)化提交的bug總數(shù)「2/2=100%」。
• 自動(dòng)化執(zhí)行成功率 = 自動(dòng)化執(zhí)行成功的次數(shù)/自動(dòng)化執(zhí)行總次數(shù)「5396/5621=96%」。
• 周活躍自動(dòng)化用例占比 = (∑每周執(zhí)行過的自動(dòng)化測試用例)/(∑周維度自動(dòng)化測試用例)「77%」。
• 應(yīng)用維度自動(dòng)化代碼覆蓋率 = 自動(dòng)化用例覆蓋代碼行數(shù)/應(yīng)用維度代碼總行數(shù)「39%」。

這個(gè)Q主要完成了核心流程和重要接口的自動(dòng)化用例，還需要持續(xù)補(bǔ)充場景用例和異常/邊界的自動(dòng)化用例。