遠程辦公和在線教育崛起 騰訊用專利做好技術保障
新冠肺炎疫情期間,遠程辦公、在線教育等市場需求激增,騰訊會議、企業微信、騰訊QQ、騰訊課堂等騰訊遠程辦公、在線教育系列產品和服務廣受歡迎:騰訊會議誕生兩個月內日活躍賬戶數超1000萬,成為當前中國最多人使用的視頻會議產品,其國際版(VooV Meeting)也已在超過100個國家和地區上線,免費開放300人同時在線的會議能力,助力全球戰疫。企業微信憑借與微信一致的溝通體驗,支持即時通訊、OA應用、300人音視頻會議、千萬人同時觀看群直播、連接微信生態等能力,成為眾多企業做好內外部溝通的首選,其英文版也已在全球范圍內上線。
面對如此龐大的用戶基數和并發數,如何保障超大規模音視頻通話質量?如何確保高質量的會議視聽效果?如何提高直播授課畫面質量?這得益于騰訊的技術創新為遠程辦公/在線教育產品提供的技術保障。
2020年4月26日是第二十個“世界知識產權日”。今年世界知識產權組織發布的知識產權日主題是“為綠色未來而創新”,全國開展的知識產權宣傳活動周確定的主題為“知識產權與健康中國”。
作為一家堅持科技創新的互聯網公司,騰訊一直重視知識產權保護,建立知識產權保護體系,鼓勵科技創新。截止2020年3月底,騰訊在全球主要國家和地區專利申請公開數量超過3.7萬件,授權專利超1.4萬件。在遠程會議/在線教育領域,騰訊全球發明專利申請超千件,發明授權四百余件。
專利技術保障超大規模實時音視頻通話服務
早在2003年,騰訊就提出了一種基于用戶列表的即時通話技術專利,可以快速邀請用戶進入群組通話,該專利技術目前已經普遍應用于各種即時通信產品和在線會議產品中,如微信、QQ直播以及騰訊會議等產品的預約會議功能上。
騰訊2015年申請的一種數據傳輸的相關專利,提供了一種超大規模實時多人音視頻通話解決方案,在疫情期間,助力騰訊會議、騰訊課堂、企業微信等眾多產品頂住服務后臺承受的巨大壓力,騰訊會議和企業微信均面向全國用戶免費升級開放了300人音視頻會議協同能力。
利用這種專利技術,在保持現有的實時多人音視頻通話系統的小房間管理模式的同時,還可以平行擴展的方式極大地拓展了單房間支撐上限,同時又能夠做到對現有架構沖擊最小、風險可控。
在家辦公期間,難免聲音嘈雜,遠程辦公軟件是如何保證穩定通話質量的呢?這就要用到 AI語音增強技術。語音增強(Speech Enhancement)的本質是語音降噪,麥克風采集的語音通常是帶有不同噪聲的語音,語音增強的主要目的就是從帶噪聲的語音中恢復不帶噪聲的語音。騰訊的語音增強類專利申請,利用自適應數據對語音增強模型進行自適應提高降噪性能,不同說話人的說話方式、口音和停頓等各不相同,在通用的語音增強模型的基礎上進行自適應有利用提高針對于該說話人的語音增強的性能。
為了確保高質量的會議視聽效果,騰訊會議還通過收集喧鬧的公交站、雨水聲、辦公區域等噪音進行AI分析處理,從而優化模型,實現了智能消除環境聲、鍵盤聲,完美還原人聲。
在家開會時背景可能會有些雜亂,騰訊會議上線背景虛化功能,通過計算機視覺AI算法檢測出人像和背景的區別,并通過自研的圖像分割算法將檢測出來的背景區域進行模糊或者替換成指定的背景圖片來實現。這背后也是有專利技術作為支撐,結合人像部件解析技術標識出場景中人物身體的不同部位,進而篩選出場景中的前景人物,實現更加高效精準的前景人像識別并進行背景虛化;還基于深度學習模型并綜合利用人像分割和人像部件解析,實現了高效的人像檢測分割。
同時,騰訊會議還上線了語音激勵、表情彈幕、自定義頭像、會議白板、移動端虛擬背景多種功能,進一步滿足線上教學、商務會議的場景需求。通過虛擬背景功能,用戶不僅可以自由選擇系統提供的默認圖片,還可以通過添加自定義圖片作為背景,凸顯了自己的個性化選擇,讓你想在哪里開會,就在哪里開會。
高質量直播授課畫面助力在線教育
作為一款國民級通訊及社交應用,騰訊QQ在疫情中被挖掘出諸多潛力,幫助各地緩解因疫情停課的燃眉之急。在特殊時期,QQ專為網課打造“群課堂”,并針對群文件、作業等教育場景下的功能進行持續優化,已助力超過1.2億用戶開展線上教育。在便利而穩定的服務背后,QQ上音視頻、直播等在線教育相關功能申請專利超過200件、官方授權超100件。
音視頻通話一直是QQ的核心功能之一,早在2005年,QQ就拿到了多人數據通訊(語音視頻)的P2P技術專利,實現了使用少量服務器即可支撐大量用戶的多人數據通訊。2019 年,QQ在音視頻上,也朝著更加高清,更少抖動,更低時延的方向做了升級優化。這兩個大的升級優化工作,在網課場景下發揮了重要作用。在疫情時間,QQ也提升直播畫面清晰度:將屏幕分享最高碼率提升3倍至3M(分辨率1080P),多人視頻大畫面最大碼率提升2倍至1M (分辨率720P),讓老師網課直播的畫面更加清晰流暢。
據新華網聯合騰訊QQ發布的《老師網課行為圖鑒》顯示:除了設備的準備,老師們也積極學習各種軟件使用,豐富線上教學形式——使用QQ的PC端上課的老師,62.5%使用過屏幕共享等工具(PPT共享、屏幕共享、視頻播放),更直觀地展示教學課件等信息。其中很多網課期間的高頻使用功能,其實很早就完成了技術的實現。
例如在線上課堂中成為板書替代品的視頻會話白板——用戶可以在視頻白板上,使用文字編輯、繪圖、打開圖片或文件,保存截圖等功能輔助視頻會話,使得師生在會話過程可以就授課內容進行討論,是QQ在2012年的專利之一。
除了QQ,企業微信在3.0.4版本中也上線了“群直播”功能,最大的好處之一是家長、學生無需下載額外的APP,可直接用微信加入班級群里看老師上課。在老師端,有上課需求的老師能一鍵發起直播,可支持全年級、全校的學生同時觀看。
直播上課時,受網絡帶寬、屏幕分辨率等因素影響,可能會出現花屏、卡頓等問題。這對在線教育直播授課的用戶來說是非常不好的體驗。
騰訊利用一種專利技術,通過將PPT轉換成H5,通過本地加載H5以及實時push信令實現PPT翻頁、切換動畫、實時同步老師端畫筆、插入習題等操作實現直播授課。這種方案可以降低用戶網絡要求,同時提高了用戶的直播畫面清晰度,解決花屏卡頓等問題,大大提升了上課體驗。
此外,疫情期間,為了幫助全國師生保持正常教學進度,騰訊教育也聚合百余合作伙伴力量,成立“不停學”聯盟,為全國各級教育部門、全國各地中小學及高校、教育機構、學生提供在線直播課堂、在線課程,以及在線協同辦公、教務教學管理等相關產品、技術、內容資源,于疫情期間全部免費開放。