Part 01

為什么要研究VR高分辨率視頻播放技術(shù)？ 

VR技術(shù)的快速發(fā)展促使全景視頻成為未來視頻服務(wù)的新型載體，然而目前行業(yè)主流終端設(shè)備大部分僅支持4K全景視頻播放，存在紗窗效應(yīng)明顯、播放高碼率視頻卡頓等問題，導(dǎo)致用戶對(duì)VR視頻內(nèi)容的體驗(yàn)仍停留在低像素、觀感模糊的階段。

在家庭應(yīng)用場(chǎng)景中，智能電視作為主要顯示終端面對(duì)全景視頻的處理也存在算力不足、渲染效率低下等問題。用戶持續(xù)增長(zhǎng)的交互需求增加了渲染畫質(zhì)、效率、帶寬等多目標(biāo)規(guī)劃的難度。全景視頻覆蓋360度球面全視角，而人眼視角下看到的有效球面信息約為球面全景信息的30%（如圖1所示），4K全景視頻觀看體驗(yàn)僅僅等效55寸電視270P 感官體驗(yàn)（參考圖2等效），而將全景視頻全視角傳輸給終端并進(jìn)行渲染，則會(huì)造成視頻質(zhì)量下降和帶寬資源浪費(fèi)。

因此，基于視頻分塊技術(shù)和FoV技術(shù)的分視角傳輸渲染機(jī)制應(yīng)運(yùn)而生，其核心思想是僅對(duì)用戶當(dāng)前FoV內(nèi)的畫面進(jìn)行高質(zhì)量的傳輸渲染，而FoV外的內(nèi)容則以低質(zhì)量形式進(jìn)行渲染，從而在降低整體數(shù)據(jù)量的同時(shí)保證用戶體驗(yàn)。

圖1 人眼視角觀看的有效信息僅約30%

圖2 全景視頻等效電視清晰度參考表

Part 02

VR高分辨率渲染技術(shù)如何解決紗窗效應(yīng)痛點(diǎn)問題？ 

VR視頻高分辨率渲染圍繞視頻分塊編碼、FoV渲染、視頻增強(qiáng)等技術(shù)，實(shí)現(xiàn)主流VR終端最高支持12K全景視頻渲染播放。

圖3為VR視頻高分辨率渲染示意圖，首先采用視頻分塊編碼技術(shù)和FoV技術(shù)降低網(wǎng)絡(luò)帶寬要求，將全景視頻切分為多個(gè)高質(zhì)量FoV分塊和一個(gè)低質(zhì)量全景背景流，終端播放器獲取當(dāng)前視角的FoV分片和全景背景流，并渲染播放當(dāng)前視角的高質(zhì)量分片內(nèi)容。

其次在云側(cè)和端側(cè)對(duì)全景視頻進(jìn)行增強(qiáng)，一方面在云側(cè)運(yùn)用深度學(xué)習(xí)方法提取多幀信息為當(dāng)前幀補(bǔ)充細(xì)節(jié)信息以提升視頻畫質(zhì)，經(jīng)過投影變換、分塊、高分壓縮、編碼后組織為私有格式文件進(jìn)行傳輸。另一方面，在端側(cè)利用傳統(tǒng)圖像處理技術(shù)對(duì)FoV內(nèi)畫面進(jìn)行實(shí)時(shí)增強(qiáng)，采用直方圖均衡算法和圖像銳化處理技術(shù)，充分調(diào)用GPU算力提升全景視頻的對(duì)比度和清晰度。

VR視頻高分辨率渲染技術(shù)大幅降低了對(duì)終端算力的要求，節(jié)省了存儲(chǔ)資源和傳輸帶寬，提升了終端設(shè)備的渲染效率。實(shí)現(xiàn)主流一體機(jī)最高支持12K超高清VR視頻渲染播放，支持智能電視機(jī)頂盒播放8K以上的VR視頻，使低端電視機(jī)頂盒也能流暢播放更高清晰度的視頻。

圖3 VR視頻高分辨率渲染示意圖

Part 03

8K/12K VR超高清視頻的傳輸問題如何解決？ 

在傳輸中，全景視頻的超大分辨率對(duì)于帶寬和實(shí)時(shí)性的要求提出了高難度的挑戰(zhàn)，分辨率8K及以上的全景視頻具有極其龐大的視頻碼率及傳輸要求，目前市面上主流8K/12K全景視頻參數(shù)如圖4所示。

圖4 主流8K/12K全景視頻參數(shù)

在OMAF標(biāo)準(zhǔn)中，提出了兩套傳輸方案：DASH方案和MMT（MPEG media transport，MPEG媒體傳輸）方案。在全景視頻中，根據(jù)用戶視角進(jìn)行動(dòng)態(tài)切換主視點(diǎn)碼流，則能去除“視角”冗余，減少帶寬壓力。應(yīng)用于OMAF中的DASH方案?jìng)鞒衅浠舅枷耄ㄟ^犧牲存儲(chǔ)空間來提高帶寬利用率。在這一方案中，在DASH服務(wù)器上，每個(gè)視角都存儲(chǔ)多份不同碼率的視頻流，同一時(shí)刻根據(jù)客戶端的視角信息來傳輸較高碼率的主視角切片流和較低碼率的其他視角切片流，是碼率和視角自適應(yīng)的動(dòng)態(tài)流傳輸技術(shù)，它的技術(shù)流程如圖5所示。

圖5 OMAF中的DASH自適應(yīng)動(dòng)態(tài)流傳輸流程 

基于分塊以及視角切換等思想，傳輸方案的設(shè)計(jì)和編解碼方案一脈相承。例如圖6所示的HEVC運(yùn)動(dòng)約束分塊集（MCTS）法，在編碼端將全景圖像劃分為多個(gè)分塊，且編碼為不同質(zhì)量的碼流，根據(jù)用戶視角信息在網(wǎng)絡(luò)傳輸中動(dòng)態(tài)切換不同分辨率和碼流的媒體流，并在解碼端組合成高質(zhì)量主視角和低質(zhì)量背景的混合圖像。除此之外，在OMAF中，還提出了使用SRD（spatial relationship descriptor，空間關(guān)系描述符）來進(jìn)行基于用戶視角的流式傳輸。

圖6 相同分辨率HEVC序列法流程 

Part 04

 結(jié)束語 

智慧家庭運(yùn)營(yíng)中心針對(duì)泛家庭VR業(yè)務(wù)領(lǐng)域，基于中國(guó)移動(dòng)千兆網(wǎng)絡(luò)優(yōu)勢(shì)，攻關(guān)VR高分辨率渲染能力，目前已可支持渲染最高12K視頻，采用VR高分渲染及傳輸能力，亦可支持大屏機(jī)頂盒播放8K以上VR視頻，并逐步推動(dòng)電視機(jī)頂盒硬件升級(jí)改造，以支持8K以上分辨率視頻播放。截至目前，基于VR視頻高分辨率渲染技術(shù)，已上線12K至臻超清專區(qū)、云游江西、粵享周游、天空之城等眾多5G+VR專區(qū)及活動(dòng)，為千萬級(jí)5G用戶提供了極致沉浸的VR超高清體驗(yàn)。