譯?者 | 李睿

審校 | 孫淑娟

微小的變化可能會產生巨大的后果。由于客戶和市場的需求和選擇是動態的，因此預計軟件將與變化的趨勢同步發展。在少數情況下，后端的更改甚至輕微修改通常會導致偏離預期的用途和功能。為了避免軟件中出現此類異常，質量保證（QA）專家團隊在回歸測試工具的幫助下執行回歸測試。

測試人員團隊應該確保新代碼不會與舊代碼沖突，并且未更改的代碼繼續按預期運行。軟件產品一經設計，就會經常更改，以確保正確結合復雜和獨特的功能。測試需要確保應用程序的早期功能仍然有效，并且其最新的更改沒有引入新的錯誤。  

什么是回歸測試？  

回歸測試是一種應用程序測試，用于檢測軟件在當前代碼被修改或更改之后是否仍然可以運行。它是軟件開發和測試生命周期的重要組成部分，允許開發人員不斷改進軟件而不會對其功能產生不利影響。執行這種形式的測試是為了確保不會通過錯誤修復引入最新的問題。  

例如，假設開發人員在某處修改了一些代碼，而現在早期的工作特征不再起作用。以下是其背后的原因：  

（1）開發的代碼包含導致行為變化的缺陷。

（2）無意中讓代碼中的兩個不同區域以從前沒有的方式相互依賴。

（3）修改的代碼依賴于另一個“特征”的一部分，該部分也被破壞（這就是檢查工作很重要的原因）。  

回歸測試的最終目標是揭示可能影響軟件功能的任何更改所導致的問題。  

為什么需要回歸測試？  

回歸測試保證了這些改動不會在當前功能中引入新的錯誤，這些功能以前運行得很好。在很多時候，當前特征本身的必要性會發生修改，這可能會影響其他應用程序的功能。在這種情況下，會針對其他功能執行此類測試。由于舊庫被棄用而升級或更改底層技術的情況下，也需要進行回歸測試。為了確保這不會對功能產生任何影響，軟件測試人員將執行端到端的回歸測試。  

簡而言之，回歸測測試是在以下幾種情況下進行的：  

（1）新增最新功能.  

（2）修改當前功能的必要性。  

（3）性能修復。  

（4）代碼優化。  

（5）錯誤修復。  

（6）技術升級/變革。  

例如，如果修復或修改了一些導致用戶配置文件出現問題的代碼，則可能是以前運行良好網站的另一部分，現在無法正常運行，因為修復反而造成破壞。回歸測試可以幫助避免這種情況。  

回歸測試的意義

回歸測試對于在新添加特征、變更、更改或與新軟件集成之后檢查整個軟件功能非常重要。這種軟件測試在將軟件交付給最終用戶之前驗證軟件是否按預期執行，它有助于增強用戶體驗并獲得用戶信任。  

它既可以自動執行，也可以人工執行。自動化測試用例有助于最大限度地減少整個項目的時間、費用和資源。回歸測試還有助于減少項目在將來的測試用例。通過自動化回歸測試，團隊可以專注于軟件開發的其他部分，從而按時發布產品。簡而言之，這種形式的測試提供了敏捷方法中工作流的穩定性和完美的連續性。它有助于在每個階段及早發現錯誤或缺陷，從而管理時間和費用。  

回歸測試的挑戰是什么？  

盡管這種類型的測試帶來了巨大的好處，但也存在一些挑戰：  

• 復雜性——由于其極端的重復行為，當產品從初級階段構建到下一個階段時，測試用例變得非常復雜。它需要一直測試舊的測試用例和新的測試用例。  
• 時間——回歸測試是重復的，因此冗長且耗時。這就使得在交付期限之前執行和交付產品成為一項巨大挑戰的原因。  
• 選擇合適的工具——為了成功進行這種形式的測試，選擇最合適的工具至關重要。否則，將導致花費費用、時間和資源。  

為什么自動化回歸測試在敏捷軟件開發方法中至關重要？  

敏捷方法專注于構建優質產品，從而最大限度地減少與開發相關的威脅。由于敏捷方法包括反復發生的變化，因此擁有一個回歸自動化測試程序是至關重要的。  

應該在回歸測試工具中尋找哪些關鍵特性？  

以下列出了良好的測試工具必須具備的一些關鍵特性。  

• 無故障的腳本生成和維護  

無需額外努力就相對容易地構建測試自動化腳本，尤其是在實踐要求高速度的敏捷交付實踐時。在每個sprint中，都需要新的回歸測試；但是，如果沒有完美的回歸測試工具提供支持，那么隨著被測應用程序的更新，將會浪費大量時間來升級其測試。開發人員將不得不快速執行自動化測試，并且其測試需要適應較小的修改，這樣就不必花費額外的時間來修改其自動化回歸測試。  

• 可擴展性和可重用性  

如果代碼修改影響了正在測試的應用程序，則必須毫不費力地處理每個受影響的測試，而無需重寫每個測試腳本。而首選的功能測試工具應該允許將測試實現模塊化。此外，應該構建可重用的測試片段或腳本庫，以便可以快速生成新的測試。此外，必須使用數據驅動的測試策略，允許在無限數量的場景中使用單個測試。  

• 每次構建后運行回歸測試  

測試軟件必須與持續集成/持續交付的管道集成，以使功能回歸測試成為構建過程的一部分。選擇的回歸測試工具必須毫不費力地插入首選的持續集成（CI）/持續交付（CD）中，并且足夠活躍以支持智能管道，根據測試結果觸發活動。  

• 描述性和快速報告  

豐富的錯誤消息（在“通過/失敗”之前）對于幫助識別出現錯誤的原因非常重要，在理想情況下，這必須包括診斷信息和屏幕截圖。報告必須包含有關先前進行的測試的關鍵信息，以便在正在測試的用戶故事附近發現重要的回歸，例如網絡和性能問題，以及視覺回歸。首選的功能回歸測試工具必須幫助識別需要額外測試覆蓋的地方，以便能夠更加主動。  

• 無限并行執行  

憑借當前交付實踐的敏捷性，測試必須快速執行并快速給出結果。當針對不同的瀏覽器版本、場景和屏幕尺寸運行如此多的測試用例時，需要的資源數量會呈指數級增長。完美的回歸測試工具將無限制地按需提供這些資源，因此可以在完成一個測試所消耗的時間內執行完整的測試套件。  

• 并行執行  

回歸自動化測試工具必須能夠計劃和安排自動化測試，以便在各種環境中并行執行任意多次，從而節省在實施過程中的時間。使用其他數據集識別對不同執行環境敏感的變量至關重要，這些數據集在每個階段（例如開發、分段、測試和生產）的不同執行環境中都會發生變化。  

• 可擴展性和可重用性  

如果代碼修改影響了正在測試的應用程序，必須能夠毫不費力地處理所有受影響的測試，而無需重寫每個測試腳本。首選的回歸測試工具應該能夠使測試實現模塊化。必須足夠活躍以生成腳本庫或可重用的測試片段，以便可以快速構建最新的測試。開發人員應該明智地采用數據驅動的測試策略，這樣就可以在無限的場景中使用單個測試。  

• 合作  

對于從開發人員到質量保證（QA）的各種團隊成員來說，訪問測試和測試結果必須沒有問題，以便可以盡快解決和緩解任何公認的回歸問題。無論在哪里進行團隊合作，還是在Jira、Slack還是儀表板中，都必須能夠訪問所報告的附帶日志的并發情況。  

2022年智能回歸測試工具  

回歸測試如果執行得當，可以讓軟件開發團隊相信他們的完整應用程序在代碼修改后可以有效和智能地運行。但是，人工執行回歸測試成本高、耗時長，并且難以擴展。隨著一些應用程序變得越來越復雜，各個團隊最終不得不在回歸測試中加入額外的資源，雇傭更多的質量保證（QA）專家，并選擇能夠在每個發布周期完成測試的有效工具。

然而，選擇合適的回歸測試工具是很棘手的。本文將分享一些智能回歸測試工具來解決這些問題：  

• Rainforest QA——這是一種無代碼自動化用戶界面（UI）測試工具，用于生成模擬用戶與應用程序或站點的最終可視層交互方式的回歸測試。  
• Selenium——Selenium是自動化瀏覽器的最智能和最古老的平臺之一。集成開發環境是記錄和回放功能。Selenium HQ允許開發人員使用其希望使用的任何語言創建自定義函數，例如.NET、Java、Python、Java等，可以將其與Selenium合并并編寫。  
• Appium——由于Selenium只將桌面瀏覽器實現自動化，另一方面，Appium改變Selenium以測試移動設備上的瀏覽器。一般來說，Appium和Selenium有類似的限制。  
• Watir——Ruby中的Web應用程序測試(Watir)是一個基于Ruby（鏈接到SeleniumWeb Driver的庫）的免費平臺，但用戶界面比Selenium更友好。就像Appium這樣的一些工具一樣，Watir也遇到了與Selenium類似的幾個缺點。  
• Micro Focus UFT One——UFT停止自動化是一項巨大的功能。對于新手和非技術人員來說，它使用起來很簡單。
• IBM Rational Functional Tester——它是一種在Linux和Windows OS（操作系統）上運行的記錄和回放工具。如果以前使用的是IBM公司的其他幾種業務解決方案之一，那么將其服務保存在一個地方可能會有所幫助。
• TestComplete——SmartBear出品的這款令人難以置信的工具提供了記錄和回放以及對象識別特征，用于在Python、JavaScript和VBScript中編寫測試腳本。它們支持在多個Web、桌面和移動平臺（包括Android和iOS操作系統）上進行測試。  
• RanorexStudio——它結合了記錄的活動以及來自預設列表或存儲庫的拖放操作來形成測試。  
• Subject7——Subject7是一個基于云的“真正的無代碼”自動化測試解決方案，它將各種測試集成在一個平臺上，使任何人都可以成為自動化專家。易于使用的軟件允許簡單、快速、復雜的回歸測試創作，而無需編寫單個代碼和執行數千個夜間測試的大規模執行。  
• SoapUI Pro——這種類型的工具，用戶友好且簡單。SoapUI Pro在應用程序編程接口設計和編排方面是一個很棒的工具。此外，它對于性能和功能測試至關重要。  
• SahiPro——這是另一種基于代碼的工具，經過完美設計，可使較少或沒有編碼經驗的質量保證初學者更容易獲得編碼。
• Eggplant's——這是一個人工智能驅動的自動化測試，通過最小化測試維護和測試用例的優先級來簡化回歸測試。  
• QA Madness——它是測試自動化工具和人工測試服務之一，這意味著它們會接管全部或部分測試。  
• SilkTest——SilkTest是一個很好的自動化測試工具，支持SAP功能測試。基腳本非常有價值，可以輕松記錄，然后進入并更改它生成的腳本。它有幾個生成腳本。  
• Qualibrate——利用解決方案的測試計劃和測試執行調度特征，它們非常重要和容易使用。利用SAP解決方案管理器以及它的Qualibrate功能，允許處理每個測試，直接從Solution Manager將其帶入Qualibrate。
• PerformanceLab——這種形式的工具專門用于性能測試，盡管它們也采用著名的工具和編程語言——即Selenium、TestComplete、SoapUI、Appium、RFT、SAPTAO、UIAutomator和QTP/UFT，并開發工具來使它們使用起來毫無問題。  
• Telerik Test Studio——Telerik Test Studio是一個用于桌面、Web和響應式應用程序的測試自動化平臺，支持功能性用戶界面、負載和RESTful API測試。它可以幫助團隊消除回歸，并確保他們的應用程序仍然按照他們在引入任何修改之前的方式運行。它帶有獨立的集成開發環境和Visual Studio集成。  
• Katalon Studio——它使用Selenium Web Driver編寫測試，但旨在支持非開發人員和開發人員之間的協作。  
• Avo Assure——Avo Assure是一種與技術無關的無代碼自動化測試解決方案，它可以幫助開發人員通過單擊一些按鈕來測試全面的業務程序，這使得回歸測試更快、更直接。

以上總結了一些頂級的自動化和人工回歸測試工具表。選擇可靠且高效的回歸測試工具可能會讓人望而生畏。由于市場上存在多種選擇，人們很容易對工具的服務、功能和便利性感到困惑和不知所措。建議始終根據團隊的舒適度、打算用于測試的軟件產品、正在使用的框架和編程語言、其預算等選擇正確的回歸測試工具。  

敏捷環境中回歸測試的最佳實踐  

• 不要追求100%自動化

無論測試基礎設施有多先進，都不可能實現100%的自動化。至少需要編寫測試腳本，并且測試人員必須驗證結果。在最好的情況下，可以實現70%～90%的自動化，因為一定數量的測試用例會導致假陰性/陽性，因此不適合回歸測試。  

• 關注軟件最脆弱的領域  

大多數質量保證（QA）測試人員和開發人員對他們的軟件足夠熟悉，可以發現最容易受到每個sprint修改影響的功能/區域的特性。此外，必須經常測試面向用戶的功能和重要的后端問題。如上所述，敏捷開發中回歸測試的協作方法有助于實現這一點，因為包括開發人員。  

• 選擇自動化  

自動化是加速敏捷sprint回歸測試的必要條件。從回歸自動化回歸測試腳本開始，然后使用每個新功能對其進行更改。因此，質量保證（QA）應該專注于在每個sprint中進行增量修改，而不是運行測試。  

• 了解測試人員的要求  

需要記住的是，質量保證（QA）專家將不得不在早期階段投入一些人工測試工作——研究用戶界面（UI）更改、軟件邏輯、產品流程等。一旦設計了軟件并且已經執行了一些重要的更改，最好引入自動回歸測試。回歸測試必須穿插人工驗證，以檢查假陰性或陽性。  

注：根據對銀行業的一項案例研究，回歸控制了高達60%的錯誤修復時間（這將被回歸測試捕獲）和40%的費用。  

回歸測試的優點  

回歸測試不僅可以提高軟件質量，還可以降低緩解缺陷的成本和時間。還包括以下優點：  

• 增強用戶體驗，而不會引入意外的不利影響。  
• 在重大更新期間提前暴露和發現缺陷/錯誤有助于減少對用戶和客戶的影響。  
• 允許軟件開發人員專注于最新的功能，而不是重新處理原有的錯誤。  
• 更少的意外威脅。回歸測試可以成為風險緩解策略的有效組成部分，可以幫助企業和開發人員在問題和變化成為主要問題之前掌握它們。  
• 更好的整體系統性能  

總體而言，回歸測試是任何軟件開發生命周期（SDLC）中的關鍵步驟。回歸測試無疑具有重要意義，主要是在引入最新特征或對軟件代碼進行修改之后。它保證了最少的停機時間，并保持低成本。回歸測試套件提供應用程序的新增強代碼或功能不會對應用程序的現有質量造成意外損失。它可以通過運行代碼更改并嘗試破壞某些應用程序來人工完成，如果需要進行大量代碼修改，這可能會延長操作時間。但是，它也可以有效地發現測試自動化可能無法捕獲的問題。  

即使是回歸自動化測試也有一系列好處，因為它允許輕松和快速的測試，并具有各種好處——包括能夠快速找到錯誤/缺陷而無需人工完成大量工作。然而，由于在虛擬機上使用不同的瀏覽器代替本地機器或其他開發人員的機器，因此存在一些缺點，例如具有復雜的測試代碼或發現假陰性。簡而言之，功能回歸測試的主要目標是識別新舊代碼之間的差異，并確保執行的修改是否按預期工作。

原文標題：??Regression Testing: Significance, Challenges, Best Practices and Tools???，作者：Niranjan Limbachiya?