App測試革新者:Testin云測試破1000萬次
來自Testin云測試的消息,這家移動App真機自動化云測試服務的締造者與傳統人工測試的毀滅者,截至目前,已免費幫助全球移動互聯網開發者測試App應用達10,155,179次,并且這一數字每一秒都在不斷的增長。相對于傳統的人工測試,這一數字幾乎相當于一家大型外包測試公司10年的測試能力。據了解,這一成績是基于Testin全球首家部署于云端的真實智能終端環境結合自動化測試技術完成的,作為科技革新生產力的典范,其可靠性及權威性廣受App開發者追捧。
Testin云測試是由IDG VC投資的移動互聯網明星企業,這家全球最大的App真機自動化云測試平臺,致力于通過科學技術創新來實現機器自動化測試代替原始手工測試。Testin成立于2011年,同年率先推出了針對性解決Android系統碎片化帶給移動開發者困擾的高效率測試解決方案,免費面向世界范圍內的移動互聯網開發者提供7x24自動化真機App測試的云服務,目前也全面支持iOS自動化測試。Testin云測試服務是一個不限地域、不限時間、不限資源的Global服務,通過其構建3000部設備的“終端云”,結合真機自動化測試技術,幫助移動 App 開發者針對其需求測試的真實智能終端設備,對 App 進行全自動化、多批次、可復現的“App兼容測試”、“App性能測試”及“App功能測試”,以替代古老的人工測試模式,減少開發者大量重復、枯燥的人工測試工作,節省適配終端的租用、購買成本,同時最大化縮短測試周期,以有質量保障的產品姿態快速迭代。
由于App測試是產品發布前必須進行的質量檢驗環節,而且是一種重復度極高的工作,要配合大量的測試終端,App開發者需要投入不菲的測試人員、測試時間以及測試終端的購買或租賃。一方面購買測試終端成本極高,一方面傳統的人工測試效率低下,導致App開發完成以后需要消耗較長的測試時間,這對于崇尚快速迭代的移動互聯網來說往往意味著喪失搶占市場先機的機會,以正在使用Testin云測試的“保衛蘿卜”“割繩子”等等流行應用舉例,過去他們的測試團隊,要在不同的終端上、不斷重復一個游戲動作成百上千次,以尋求游戲的穩定無錯,這一定不是享受、而是折磨,對企業發展無益。采用Testin云測試的方案,App開發者可以將測試人員及設備成本降至幾乎為零,而自動化測試技術則可以將測試周期壓縮至最低。開發者要做的只是打開Testin云測試網頁,上傳其測試包便可坐等標準化制式的專業報告。
圖:Testin真機自動化云測試服務使用前后對比
Android平臺碎片化使得移動開發者的App應用與終端適配帶來普遍問題,應用與終端適配性降低、程序經常崩潰等問題讓用戶投訴不斷,對測試人員而言,智能終端的多樣性大大增加了研發和測試成本,測試周期。在資金和人力緊張的情況下,要保證測試的準確完整性很難,絕大部分的App產品都不能保障自己的產品可以覆蓋到每一款智能手機, Testin將測試這一工作實現了自動化云交付,全球任何一個開發者都可以像使用自來水一樣方便快捷地使用Testin的免費的真機自動化測試服務。這是一個改變效率的創新,可以幫助開發者提升測試效率、節省成本、快速鎖定問題,解放測試人員對大批量終端的重復機械化測試所消耗的時間,使得開發者可節省大量時間將工作投入到App產品的創意設計等方面。
云測試是如何工作的?
“真機”測試:全球最大的“終端云”
許多App開發者之所以面對Android測試困擾重重,一個癥結在于沒有足夠的資金購買大量終端來調試自己的應用與終端的兼容和匹配,通常的做法就是在Android系統自帶的模擬器上進行演示和測試,這種測試的結果十分不理想,目前許多終端商都會在Android原生態系統上進行二次開發,加入大量個性化的功能 ,而模擬器缺少的是不同硬件廠商底層的交互,這些因素都會讓App在模擬器上的測試效果不盡人意。Apple測試負責人曾說,1萬次模擬器測試不如一次真機測試,Testin云真機測試比模擬器更接近用戶實際使用情況。
據介紹,Testin真機自動化云測試平臺構建了目前為止全球最大的智能“終端云”,覆蓋Android/iOS兩大平臺所有主流設備,主流的操作系統版本;共300款3000多部主流的Pad、Phone、Smart TV等智能移動設備,也覆蓋了市面上用戶量大,但不易采購的稀缺熱門機型。全球任意地區移動開發者均可通過云端來使用所有這些設備進行App應用的自動化兼容適配測試。
圖:Testin云測試真機展示
有些App開發者確實也是在真機上進行測試,但測試終端數量遠遠不夠,一方面資金成本很大,并且無限制購買測試終端也會帶來資金浪費。即使依靠租賃來完成App的后期測試,成本也相當昂貴,因為還需要再投入測試人員,效率也十分低下。Testin云測試這項免費服務,對于開發者來說這是一筆非常不小的資金節省!
“自動化測試”:解放測試人員
在標準化的移動App測試工作中,Testin云測試所做的是App開發者發布產品前的最后一道工序,是不涉及代碼的黑盒測試。移動App開發者所要做的僅僅是在Testin云測的網站平臺,上傳自己的App安裝包,根據智能手機系統,系統版本、品牌、分辨率或者屏幕尺寸選擇想要測試的智能移動設備,平臺接到任務請求后,自動連接部署的真機終端,Testin自動化測試系統就會開始進行測試作業。Testin基于真機自動化云測試目前面向Android/iOS兩大系統領域的開發者提供“App兼容適配測試” ,“App性能測試”及“App功能測試”等三大服務。
“App兼容適配測試”
開發者上傳App測試包以后,Testin真機自動化平臺將分別進行應用安裝卸載測試、應用遍歷測試、應用運行穩定性測試、應用UI適配測試,在測試過程中,自動化的測試App在指定的真實終端設備上是否可正常安裝、啟動、卸載,自動識別App可執行功能,在測試周期內遍歷App不同功能界面,同時檢驗App的UI界面與目標終端的屏幕是否適配,是否存在渲染失敗、錯位、黑邊框、黑白屏等現象,最終通過截圖記錄操作路徑,輸出日志、定位異常現象,準確定位錯誤原因。
圖:一份App兼容適配測試網頁報告
“App性能測試”
性能測試主要檢驗App在實際用戶使用環境下的系統資源消耗情況,主要包括:應用啟動性能,檢測App在所有測試的真實終端上首次啟動時間,并計算其差異化;應用RAM、CPU耗用性能,檢測App在所有測試終端上運行時不同時段占用RAM、CPU情況;應用流量耗用性能,檢測App在所有測試的終端上運行時網絡流量消耗情況;電池性能,檢測App在終端上運行時,對終端的電池溫度等性能指標的影響情況。
以下為實體App性能測試報告部分截圖:
圖:性能測試中的CPU占用率與內存測試報告
“App功能測試”
全方位支持流行的Robotium、Athrun等測試框架編寫的自動化測試腳本云測試平臺執行。支持上傳自定義測試腳本,結合Testin云測試平臺的真實智能終端設備進行腳本校驗,云測試報告中呈現測試過程出現的BUG并提供重現場景。自動執行結果判定,比對用例的測試結果,定位錯誤及反饋報錯原因,輸出準確的報告及日志分析。
對于沒有編寫測試腳本能力的開發者,Testin于2012年推出了一個全球唯一同時支持Android/iOS的移動應用真機自動化錄制回放云測試工具iTestin,目前支持功能測試、性能測試、穩定性測試、壓力測試。支持Pad/Phone/Smart TV等智能終端設備,iTestin可以基于真實的智能終端設備錄制應用測試用例,記錄操作行為,生成測試腳本,在終端設備上反復回放并記錄回放結果,自動返回包括錯誤屏幕截圖、Log日志,用例判定的詳細測試報告;可結合Testin云測試平臺3000多部終端批量驗證功能點,幫助開發者快速找到錯誤原因,提升應用質量。
圖:UI適配報告
在一個完整的測試任務中,Testin會以加密的方式將所有的應用測試過程全部的方式記錄下來,每一處BUG附有日志、截圖、操作過程、網絡環境、配置文件等詳細數據記錄,最終生成一個包含報警和錯誤的Log日志(測試的記錄文件)和一份規范化的測試報告提供給開發者及測試人員,而這些完全不需要人工參與。
“云測試”:云計算服務典范
Testin云測試的最終計算單元是分布在不同地區、網絡的真實測試終端。Testin的在線云端測試通過一套分布式管理體系,將待測的App產品按照任務需求,分配到這些測試終端。開發者完全不用下載任何客戶端,只要在線選擇需求測試的目標終端,就可以將自己的應用提交到分布在不同真實終端執行自動化測試。無論身處全球的任何哪個角落,都可以使用,在辦公桌前通過Testin的平臺進行本地、甚至全球任何地區、網絡的不同終端的App系統測試。Testin云測試將云時代的產物嫁接到了自己的服務中來,讓開發者零成本的解決了其應用測試困擾!