吐司盒子？芝士碼？HarmonyOS創(chuàng)新音視頻測(cè)試技術(shù)來啦
51CTO和華為官方合作共建的鴻蒙技術(shù)社區(qū)
當(dāng)下，音視頻無處不在，很多設(shè)備和應(yīng)用都涉及音視頻。因而，對(duì)于HarmonyOS開發(fā)者們來說，如何對(duì)鴻蒙生態(tài)產(chǎn)品進(jìn)行音視頻測(cè)試是一個(gè)非常重要的問題。
華為HarmonyOS生態(tài)整機(jī)測(cè)試能力中心——DevEco Testing，為生態(tài)合作伙伴接入HarmonyOS生態(tài)提供專業(yè)的測(cè)試服務(wù)。DevEco Testing推出的音視頻測(cè)試服務(wù)，為HarmonyOS整機(jī)提供音視頻評(píng)測(cè)能力，滿足開發(fā)者們的上述需求，也為鴻蒙生態(tài)保駕護(hù)航。
下面我們以手機(jī)投屏業(yè)務(wù)為例來聊一聊音視頻測(cè)試吧！
一、傳統(tǒng)音視頻測(cè)試的痛點(diǎn)
手機(jī)投屏業(yè)務(wù)，是將手機(jī)播放的視頻投屏到智能大屏或平板等。針對(duì)手機(jī)投屏業(yè)務(wù)，傳統(tǒng)的音視頻測(cè)試方法就是通過高速相機(jī)錄制投屏的視頻內(nèi)容和手機(jī)播放的視頻內(nèi)容，再用視頻工具將高速相機(jī)錄制的內(nèi)容逐幀提取出來，人工分析視頻流暢、聲畫同步和時(shí)延等測(cè)試指標(biāo)。
傳統(tǒng)的音視頻測(cè)試存在以下痛點(diǎn)：
1. 很多環(huán)節(jié)需要人工分析，工作量大，誤差也大
在分析視頻時(shí)延、視頻流暢、音頻時(shí)延、聲畫同步等指標(biāo)時(shí)，除了專業(yè)的工具外，往往還需要分析人員逐幀逐采樣點(diǎn)地進(jìn)行結(jié)果分析。每測(cè)試1分鐘的內(nèi)容，就要分析14400張圖片，2880000個(gè)音頻波形采樣點(diǎn)，并對(duì)圖片和音頻波形進(jìn)行比對(duì)，工作量巨大。同時(shí)，人為因素引入的誤差也比較大。
2. 聲畫同步測(cè)試效率低
所有錄像設(shè)備錄制的內(nèi)容都會(huì)存在聲畫同步偏差。同一個(gè)設(shè)備在不同時(shí)間錄制的內(nèi)容，聲畫同步偏差也不同。傳統(tǒng)的測(cè)試方法是：選擇自然界中的真實(shí)內(nèi)容(例如打板、敲擊桌子或者鋼珠掉落等)作為聲畫同步測(cè)試的校準(zhǔn)依據(jù)，然后人工分析聲畫同步偏差，比較費(fèi)力，且效率低。
3. 錄制的圖像很容易產(chǎn)生斷裂
高速相機(jī)錄制液晶屏幕，因?yàn)橐壕聊坏闹鹦兴⑿绿匦裕浿频膱D像很容易發(fā)生丟幀、幀重疊等，導(dǎo)致圖像斷裂，如圖1所示。
圖1 圖像斷裂
4. 測(cè)試工具的錄制頻率低，引起測(cè)試偏差比較大
目前主流音視頻測(cè)試工具的錄制頻率是60赫茲，引起的測(cè)試偏差起碼有1/60秒(大約16.7毫秒)。
二、DevEco Testing音視頻測(cè)試的優(yōu)勢(shì)
針對(duì)以上痛點(diǎn)，DevEco Testing音視頻測(cè)試服務(wù)是如何應(yīng)對(duì)的呢?下面就讓我們一一揭曉~
DevEco Testing的音視頻測(cè)試服務(wù)實(shí)現(xiàn)了播放、采集、分析全流程自動(dòng)化測(cè)試，無需人工干預(yù)。
我們?cè)O(shè)計(jì)了一個(gè)可以由計(jì)算機(jī)視覺和聲音識(shí)別的、物理的聲畫同步源——吐司盒子。
吐司盒子可校準(zhǔn)所有錄像的聲畫同步偏差，還可以作為錄像、直播、視頻通話類業(yè)務(wù)的測(cè)試工具，讓計(jì)算機(jī)視覺聽覺可以自動(dòng)化分析測(cè)試結(jié)果。
圖2 吐司盒子
針對(duì)錄制圖像斷裂的問題，我們?cè)O(shè)計(jì)了芝士碼。
芝士碼是基于格雷碼而全新設(shè)計(jì)的二維碼。音視頻測(cè)試時(shí)，DevEco Testing后臺(tái)推送視頻到被測(cè)設(shè)備播放。推送視頻的每一幀都含有一個(gè)芝士碼，DevEco Testing很容易檢測(cè)出是否發(fā)生丟幀、幀重疊等。
圖3 芝士碼
我們選擇支持240赫茲的錄像設(shè)備，提升測(cè)試精度，讓測(cè)試偏差控制在1/240秒(大約4.17毫秒)。
三、測(cè)試流程和實(shí)例
了解了DevEco Testing音視頻測(cè)試服務(wù)的優(yōu)勢(shì)后，下面讓我們來看看DevEco Testing音視頻測(cè)試的測(cè)試流程和測(cè)試實(shí)例。
1. 典型組網(wǎng)和測(cè)試流程
DevEco Testing音視頻測(cè)試的典型組網(wǎng)如圖4所示。
圖4 典型組網(wǎng)圖
目前，DevEco Testing的音視頻測(cè)試服務(wù)提供三項(xiàng)檢測(cè)服務(wù)：視頻流暢性測(cè)試、視頻質(zhì)量測(cè)試和編解碼能力測(cè)試。
以視頻流暢性測(cè)試為例，測(cè)試流程如下：
(1)用戶在PC端的DevEco Testing客戶端上創(chuàng)建測(cè)試任務(wù)，并開始測(cè)試任務(wù)。
(2)PC端上的DevEco Testing根據(jù)測(cè)試任務(wù)中配置的“視頻分辨率”和“測(cè)試幀率”，選擇最佳的視頻源傳輸?shù)奖粶y(cè)設(shè)備。
(3)DevEco Testing控制被測(cè)設(shè)備，打開對(duì)應(yīng)的app播放器，單文件循環(huán)播放剛剛傳輸?shù)囊曨l。
(4)DevEco Testing下發(fā)指令給吐司盒子，吐司盒子開始工作。
(5)DevEco Testing下發(fā)開始錄制的指令給錄像設(shè)備，錄像設(shè)備錄制被測(cè)設(shè)備和吐司盒子的視頻。測(cè)試任務(wù)中配置了“測(cè)試時(shí)長(zhǎng)”，到達(dá)時(shí)長(zhǎng)后，DevEco Testing下發(fā)停止錄制的指令給錄像設(shè)備。
(6)DevEco Testing下發(fā)指令給吐司盒子，吐司盒子停止工作。
(7)錄像設(shè)備上傳錄制的視頻到PC端，PC端的DevEco Testing對(duì)視頻進(jìn)行分析，形成測(cè)試報(bào)告，然后將測(cè)試報(bào)告上傳到云端。
通過以上測(cè)試流程可知，用戶需要執(zhí)行操作的就是第(1)步——創(chuàng)建和開始測(cè)試任務(wù)，然后等待DevEco Testing自動(dòng)完成測(cè)試并生成測(cè)試報(bào)告即可。
2. 測(cè)試實(shí)例
下面我們?nèi)匀灰允謾C(jī)投屏業(yè)務(wù)為例，來看看DevEco Testing音視頻測(cè)試需要準(zhǔn)備的設(shè)備和具體的操作步驟。
圖5 測(cè)試場(chǎng)景
圖5是手機(jī)投屏業(yè)務(wù)的測(cè)試場(chǎng)景。根據(jù)圖5可知，需要準(zhǔn)備如下設(shè)備：
(1)被測(cè)設(shè)備：即播放視頻的手機(jī)。
(2)投屏設(shè)備：用于將被測(cè)設(shè)備播放的視頻投屏到此設(shè)備。
(3)吐司盒子：聲畫偏差的校準(zhǔn)設(shè)備，是一個(gè)可以由計(jì)算機(jī)視覺和聲音識(shí)別的、物理的聲畫同步源。
(4)錄像設(shè)備：支持240幀慢動(dòng)作錄制的設(shè)備。圖1中的錄像設(shè)備是一臺(tái)手機(jī)。
除了以上四個(gè)設(shè)備外，還需準(zhǔn)備一臺(tái)Windows 10(64位)的PC機(jī)，并在PC機(jī)上安裝DevEco Testing客戶端。
下載地址(注意選擇“下載設(shè)備測(cè)試客戶端”)：
https://devicepartner.huawei.com/cn/competency-test
圖6 下載DevEco Testing客戶端
以上設(shè)備連接就緒后，就可以開始測(cè)試了。
下面為大家介紹如何創(chuàng)建和開始測(cè)試任務(wù)，以及如何查看測(cè)試報(bào)告：
(1)登錄DevEco Testing客戶端，選擇“圖形圖像測(cè)試 > 音視頻測(cè)試”。
(2)選擇測(cè)試服務(wù)，比如“視頻流暢性測(cè)試”。
(3)在圖7所示的“創(chuàng)建任務(wù)”界面配置測(cè)試參數(shù)，點(diǎn)擊“開始測(cè)試”。
圖7 創(chuàng)建任務(wù)
(4)圖8所示的“測(cè)試執(zhí)行”界面顯示測(cè)試任務(wù)的進(jìn)度和過程步驟。
圖8 測(cè)試執(zhí)行
(5)測(cè)試任務(wù)執(zhí)行完成后，點(diǎn)擊右下角的“查看報(bào)告”，即可查看詳細(xì)的測(cè)試結(jié)果，如圖9所示。
圖9 查看報(bào)告
以上就是本期DevEco Testing音視頻測(cè)試的介紹內(nèi)容了，歡迎大家體驗(yàn)DevEco Testing音視頻測(cè)試服務(wù)!
51CTO和華為官方合作共建的鴻蒙技術(shù)社區(qū)
