騰訊云音視頻AI技術,極速高清世界杯直播的“幕后功臣”
原創【51CTO.com原創稿件】轉眼間,世界杯已接近尾聲。無論是否看球,是否懂球,世界杯期間人們的話題都少不了這個。回顧每屆世界杯都有新科技助陣,讓球迷更為真實感受世界杯的美,世界杯的激情與汗水。而今年的世界杯依舊離不開新科技的支持,比如云計算、人工智能,比如一改以往電視直播,采用新媒體平臺進行網絡直播。
五月底,中央廣播電視臺決定將世界杯新媒體版權分銷。為了實現清晰流暢的直播效果,央視最終選擇了騰訊云提供極速高清直播技術支撐。相信此次世界杯直播,央視網、央視影音視頻的清晰度和流暢度應該給不少人留下了深刻印象。那么,高清直播的背后,騰訊云到底運用了什么新技術?為何央視會選中騰訊云?
體育賽事直播***的挑戰:清晰度和流暢度
以往觀眾只能通過電視看世界杯,出現畫面卡頓或者不清晰的情況很小。但是網絡直播卻不似電視直播那樣穩定,因受網絡帶寬等因素影響,畫面卡頓、音視頻時間戳不同步等情況出現概率較高。
通常情況下,為了保證順暢觀看視頻,用戶不得不降低視頻碼率,選擇流暢或者標清畫質觀看視頻。可是對于世界杯這樣重量級的賽事而言,這顯然并不是觀眾和直播方想要的結果。事實上,視頻在互聯網上是最耗帶寬的內容形式,實現視頻高頻運動畫面的清晰度和流暢度,一直是互聯網體育賽事直播***的挑戰。
那么,如何才能保證用戶觀看直播的質量,保證畫面清晰度?騰訊云是怎么做的?
騰訊云高級產品經理李海琦
在近日舉行的騰訊云媒體沙龍上,騰訊云高級產品經理李海琦表示:“對于視頻企業來說,帶寬支出占很大一部分運營成本,如果想為用戶提供高清的視頻體驗,就必須增加視頻流的碼率,相應的帶寬的總成本也會進一步提高。而騰訊云極速高清正解決了該問題,可以以更低的碼率給用戶提供更高清的視頻。”
央視世界杯直播背后的技術——騰訊云極速高清
李海琦向記者表示,普通的轉碼技術存在諸多質量問題,例如:轉碼失真、低分辨率模糊、鏡頭抖動、噪聲大、低碼率鋸齒塊等。這些都是處理整個轉碼過程中,要處理的一些基本問題。
騰訊云極速高清技術(又叫“智能動態編碼技術”),主要利用機器深度學習,通過視頻場景智能分類、編碼參數匹配、前置處理、編碼動態優化、碼率智能控制、detail reduce、ROI處理等技術和流程,對直播或者點播視頻流進行智能處理,以匹配***編碼參數,從而以更低的帶寬成本給用戶提供更高清的視頻直播流。
該技術會根據場景分類實時識別結果,結合視頻源碼率、幀率、分辨率、紋理和運動變化幅度等情況,以及綜合機器負載和畫質效果等維度,選擇***編碼參數。同時在畫質處理上,它能夠根據不同場景分類,結合視頻源畫面紋理和實時運動檢測結果對畫面進行銳化、軟模糊、反交錯、去塊、降噪、色階補償、降幀等前置處理。
據介紹,騰訊云極速高清技術主要通過三個模塊實現直播視頻流智能編碼工作,即:場景智能識別、視頻動態編碼、視頻增強。
在場景的智能識別方面,極速高清技術服務期間,可實時對直播流進行檢測分析,并匹配對應場景模型。根據視頻流情況來識別視頻直播的場景,是否是一場體育賽事,如果是,是足球、籃球還是網球。同時,針對單個場景也采取智能識別,假如是足球賽事,需要實時識別是否是近景,是否是遠景,是否射門等等。然后,根據場景分類實時識別結果,進行視頻動態編碼。先匹配當前基礎編碼庫,然后根據實時運動場景匹配下一個更細節的編碼庫。***,實現視頻的增強。對觀眾關注的重點區域實現增強,非重點區域弱化。例如觀眾區域和廣告牌區域可以弱化。
為何央視會選中騰訊云?
央視作為整個視頻云行業都極其看重的客戶,是各云廠商的必爭之地。此次世界杯前,央視決定在世界杯期間引入提升比賽清晰度的新技術后,各云服務廠商都提供了自己的解決方案。
騰訊云在碼率控制、去模糊、去塊、反交錯、運動搜索和分塊決策等模塊共進行了幾十次服務升級和優化。經過與一輪又一輪的PK,央視網最終選擇了騰訊云。在分辨率同為1024*576、幀率為25的情況下,騰訊云極速高清技術實現了更低的碼率,為887kbps,其余兩家云服務廠商碼率為963kbps和941kbps。VMAF模型用來評估視頻質量,騰訊云碼率比友商少8%-10%左右。
“世界杯開幕賽期間,在各家直播問題頻出的同時,正是憑借騰訊云極速高清技術支持的央視影音,一舉實現了口碑的逆襲。”騰訊云高級工程師盧林表示。
騰訊云高級工程師盧林
談及這次世界杯直播的支持經歷,盧林表示:“其實,早在今年春節,騰訊云針對世界杯比賽場景深度學習就已經開始。”今年春節后,騰訊云極速高清服務開始陸續接入一些頭部游戲直播平臺,并且取得了良好的反饋。
此前,騰訊云網絡爬蟲足球比賽視頻超過了 500 場。針對每場比賽視頻在高速運動場景、足球跟隨模型訓練、長遠鏡頭優化、精彩回放 ROI 區域增強、觀眾表情捕捉等細節做一些視覺效果分析以及優化效果評估,來實現***動態編碼的模型。
世界杯之前,騰訊云已在中超和英超賽事上向龍珠直播以及新英體育進行了極速高清服務的推廣,并且開始對他們所建立的 AI 模型進行訓練。他們發現,中超和英超賽事有著很多不一樣的地方。中超的比賽節奏比英超要更慢一些,這就需要他們針對不同的模型進行更具針對性的調整。
而世界杯賽事的節奏大致介乎于中超和英超之間,但更偏向于英超的快節奏。所以,在世界杯期間他們又對之前的那套 AI 模型進行了與世界杯賽事更相符的匹配。
除此之外,在本就時間緊迫的世界杯前夕,騰訊云還拿出了全新的私有化方案,在央視網搭一整套騰訊云極速高清轉碼集群,支持央視網世界杯期間CCTV5頻道直播,RTMP/FLV推拉源流,轉碼處理后支持央視RTMP/FLV/HLS拉流。
最終,在世界杯開賽前,騰訊云兼容了客戶硬件設備以及軟件代碼模塊的各種適配要求。目前,這條方案的各項服務指標一切正常,出流效果也超出預期,播出效果對比其他平臺優勢明顯。
AI加持音視頻,極速、高彈性
記者了解到,騰訊云極速高清技術是騰訊云音視頻AI解決方案的最主要特性之一。
前不久,在2018騰訊云在“云+未來”峰會上,為解決游戲直播行業面臨的成本、技術問題,騰訊云發布了音視頻AI解決方案——明眸。音視頻技術與AI人工智能的結合會擦出什么樣的火花,騰訊云明眸能力就是***的證明。
騰訊明眸可實現智能判斷視頻場景類型,對不同類型的視頻優化處理,以更低的帶寬給用戶提供更高清的觀看體驗。可以說騰訊視頻云對AI的理解足夠充分,騰訊明眸涵蓋了極速高清、智能動效、智能編輯、智能字幕四大核心功能,可囊括泛娛樂直播、在線視頻、短視頻、廣電新媒體等視頻全產業鏈條,具體實現方面,包括窄帶高清、超分辨率、動態編碼、肢體語言識別、智能掛件、美膚美顏、人像檢索、智能封面、智能標簽、語音識別、實時翻譯、混流輸出等在內的多個應用場景讓AI技術得以充分體現。
其中,極速高清服務通過AI技術,明眸可智能判斷視頻場景類型,對同一個視頻里的不同段,應用完全不一樣IBP幀類型、量化參數QP、分辨率等編碼參數,盡量在不降低視頻質量情況下降低視頻碼率,減少CDN帶寬。
憑借騰訊多年來在視頻領域的資源、技術積累,騰訊云構建了視頻云生態,不僅為企業提供技術支撐,更與企業達成資源方面的合作,助力80%的Top直播企業發展。在“云+未來”峰會上,騰訊云發布的全新音視頻AI解決方案以及Tencent-RTC,使其生態得到了進一步的完善和進化。
【51CTO原創稿件,合作站點轉載請注明原文作者和出處為51CTO.com】