探秘數字媒體領域的云端技術創新與實踐--Techo Hub技術巡回長沙站干貨分享

作者：趙立京 2021-06-29 18:26:34

6月26日下午，以“數字媒體領域的云端技術創新與實踐”為主題的Techo Hub技術巡回第三站在長沙開啟。

【51CTO.com原創稿件】6月26日下午，以“數字媒體領域的云端技術創新與實踐”為主題的2021 騰訊云Techo Hub技術巡回活動第三站在長沙盛大開啟。湖南融鏈科技有限公司CEO李穎悟老師，湖南知名數字媒體芒果TV 技術總監潘建波老師，與多位騰訊云專家，共同探討了數字媒體背后的創新技術，重點分享了 GPU 云服務器、云原生數據庫、云開發、大數據、音視頻等技術的解析和實踐。

基于區塊鏈和分布式存儲的視頻存證系統

2019年，中共中央總書記習近平在中央政治局第十八次集體學習時強調，把區塊鏈作為核心技術自主創新的重要突破口，加快推動區塊鏈技術和產業創新發展。在 “十四五”規劃中，明確提到“培育壯大人工智能、大數據、區塊鏈、云計算、網絡安全等新興數字產業”，首次將區塊鏈納入到五年規劃中。

湖南融鏈科技有限公司CEO、騰訊云TVP李穎悟老師將區塊鏈技術的優勢總結為四點：（1）區塊鏈的去中心化技術，降低了信任背書的難度，能組織更多的供應鏈參與方，補充和共同維護更多的商品數據，提高用戶的信任度；（2）區塊鏈技術的不可篡改、時間戳等特性，讓交易可追溯，當供應鏈數據被篡改時，可實現有效追責，保證商品信息透明真實，根除假冒偽劣問題；（3）供應鏈各方共同維護數據源，并且是公開透明的，確保參與各方及時發現運行過程中的問題，快速找到對應的解決辦法，有助于提升供應鏈管理效率；（4）區塊鏈在匿名的基礎上，還通過多種加密、驗證方式等多種技術手段，有效地保護用戶的個人隱私，提高其信任感。因此，區塊鏈技術將在食品溯源、物流與供應鏈、版權存證、智慧城市與公共服務等領域大放異彩。

湖南融鏈科技有限公司CEO、騰訊云TVP李穎悟老師

湖南融鏈科技有限公司（以下簡稱湖南融鏈科技）利用區塊鏈技術打造了茶產業平臺，將茶園的種植、培管、采收、運輸、加工、倉儲等整個環節都遷移到區塊鏈上，打通了茶園、茶廠和消費者的數據鏈，解決了茶的品質溯源以及銷售問題。在茶園、茶廠和消費者的數據鏈中涉及流媒體（監控錄像）保存的問題，由于視頻量大、數據多，如果采用傳統的中心化存儲的方案，會存在信任問題，數據也有可能會改變或者丟失，而如果將視頻全部放在區塊鏈上，整個區塊鏈系統的管理就需要達到共識，這一過程效率低下，如何解決視頻存儲就成了一個難題。

[[408151]]

活動現場

湖南融鏈科技的解決方法是以分布式存儲的形式將數據存儲在服務器上，將區塊鏈技術與分布式存儲完美地結合在一起。包括通過IPFS實現基于視頻內容的尋址；通過開源系統實現內容可證明和去中心化永續存儲；將視頻內容CID上到聯名鏈存證和可回溯。

異構計算在數字媒體的應用

數據猛增的時代，對計算速度提出了更高的要求，傳統CPU架構已經無法滿足數據計算的需求。比如在深度學習訓練/推理，科學計算等場景中，需要強大的浮點運算能力的支持，通用CPU擅長處理邏輯復雜的事務性任務，因此不能應對這些浮點運算需求的場景。GPU依托并行計算架構，具備非常強的浮點運算能力，數據吞吐量大，在高性能計算場景中變得不可替代。在視頻轉碼場景中，GPU 集成了專用的視頻編解碼硬件單元，相比 CPU 提供了更快的視頻處理速度和密度，是目前網絡視頻流高并發與低延時等場景下的優先選擇。在圖形圖像處理領域，隨著渲染、云游戲、協同設計等場景上云，GPU的需求也非常迫切。因此，GPU服務器市場增長迅速。

騰訊云計算高級解決方案架構師王璐介紹說，騰訊云 GPU 云服務器是提供GPU算力的彈性計算服務，具有超強的并行計算能力，作為IaaS層的尖兵利器，服務于人工智能深度學習訓練/推理、科學計算、圖形圖像處理、視頻編解碼等場景。

騰訊云GPU服務器實例規格

騰訊云的GPU服務器產品，只需要在騰訊云上進行購買，就可實現驅動自動化安裝，同時可以一站式選擇CUDA、cuDNN安裝，非常方便。騰訊云GPU服務器產品也提供了多種使用途徑，如TI-ONE+TI-EMS，TI-ONE平臺可以調用到GPU云服務器，從最底層平臺進行購買；TI-EMS則是針對模型進行推理使用，在模型訓練完后可以在平臺上自動部署自己的計算資源。

[[408152]]

騰訊云計算高級解決方案架構師王璐

在云游戲行業，騰訊云不僅提供IaaS層計算資源，還提供PaaS層計算資源，騰訊云GPU服務器在云游戲行業有著重要的應用。王璐老師詳細介紹了vGPU、黑石2.0、SG1，以及安卓云游戲解決方案。通過這些解決方案可以看出，騰訊云GPU產品支持了多種接入途徑，也適用于多種使用場景，無論是圖形渲染還是AI訓練/推理，都可以滿足不同層次的需求。

騰訊云云原生數據庫TDSQL-C

對于傳統數據庫來說，可用性和可靠性二者難以兼顧。云原生數據庫是存在于云上的，可以隨時隨地從多前端訪問，由于集群部署在云上，因此單點失敗對服務的影響很小。云原生數據庫與底層的云計算基礎設施分離，可以靈活及時地調動資源進行擴容和縮容，從容應對流量激增帶來的壓力，以及流量低谷期因資源過剩造成的浪費。也正是因為能夠靈活擴縮容，云原生數據庫也具備很強的可遷移性。因此，云原生數據庫成為了互聯網和游戲等行業的最佳選擇。

騰訊云數據庫專家工程師竇賢明介紹說，騰訊云原生數據庫 TDSQL-C是騰訊云自研的新一代高性能高可用的企業級分布式云數據庫。融合了傳統數據庫、云計算與新硬件技術的優勢，100%兼容 MySQL 和 PostgreSQL，實現了超百萬級 QPS 的高吞吐，128TB 海量分布式智能存儲，保障數據安全可靠。

騰訊云數據庫專家工程師竇賢明

竇賢明老師通過微信小程序前端、內容電商平臺、實時報表類業務三個詳細的案例，深入介紹了騰訊云原生數據庫的極致彈性。

云創多媒體引擎--助力企業內容生產工業化

由于疫情的爆發與防控，大量線下業務無法正常開展，企業相關業務與直播能力結合日趨緊密，加上用戶觀看直播的習慣逐漸養成，多家企業逐漸投入到直播大潮中，探索并占據新的市場。

直播、短視頻等成為了主要的媒體形式，內容消費成為主流，內容生產工具成為剛需。在這種情況下，很多團隊都面臨著缺乏剪輯能力及媒體素材管理能力、缺乏將業務直接在云端完成視頻采集、編輯、合成、發布全鏈路流程的能力，他們渴望擁有一整套云端服務，提供實時直播剪輯、錄制等高效功能和強大穩定的云端媒資管理，同時可以高效管理文件和在線剪輯。騰訊云的云創多媒體引擎，可以同時解決以上所有問題，為企業提供在線視頻創作工具，主要包含智能媒資庫、在線視頻編輯和直播剪輯等核心功能，融入大量 AI 輔助編輯的功能，并提供可被集成的 PaaS 交付模式和一鍵換膚的 SaaS 模式，滿足現今直播領域的多樣化需求。

騰訊云高級產品經理郭磊，在活動現場與現場觀眾詳細分享了云創多媒體引擎的三個核心能力：可以基于模板工具規模化、快速地進行線上內容生產；可以基于線上的協同能力，整體提升線上內容生產流轉過程的工作效率；可以基于直播的分發能力，覆蓋針對內容最終在應用環節的需求。

騰訊云創多媒體引擎主要提供兩種接入方式：標準的SaaS模式和SaaS API模式。標準的SaaS模式是即買即用的模式，在云創多媒體引擎官方平臺注冊會員，就可以使用云創多媒體引擎的全部能力。騰訊云還提供了更加契合企業應用的場景，客戶可以自定義域名和LOGO，當客戶完成域名自定義后，將域名嵌入到自己的內容中，不會有平臺跳轉的感受，使用起來更輕、更快、更方便。

SaaS API的模式，是基于API的接入能力、組建化的能力，使用戶可以進行自主研發，在自己的平臺上搭建原創的功能模塊，然后在自己的平臺上進行開發和搭建。總之，對于沒有平臺的客戶或者只希望購買且快速使用的客戶比較適合使用標準的SaaS模式，有一定開發能力和一定自定義要求的客戶，則可以通過SaaS API的模式去接入。

云創多媒體引擎旨在助力客戶構建自己的內容生產和消費平臺，其中模板化視頻生產全面提升了企業內容視頻化效率，實現了內容極速上云，并且支持多人異地協同創作，這樣多產品組合極大助力了內容生產及消費。

云原生一體化平臺助力數字媒體行業發展新思路

疫情助推下，線上業務發展如火如荼，微信小程序借助微信自身強大的渠道能力也迎來了爆發式的增長。在小程序開發過程中，不可避免地會遇到一些難題。如實時抽獎的功能，整個功能需求看似非常簡單，似乎兩個人配合幾天就可以完成：前端開發完成交互UI、后端開發實現抽獎接口API。但是如何防止羊毛黨薅羊毛？秒殺抽獎高流量情況下，如何應對高并發？如何保障百萬用戶互動的實時性？接口如果被壓垮，如何保護其他業務不受損？硬件發生故障如何處理？

騰訊云高級產品經理張斯靜表示，這些問題看似簡單，但卻需要長時間的技術投入和積累才能解決。她所在的團隊是要將解決這些問題的能力服務化，讓所有開發者可以低成本的使用這些能力去解決問題，實現業務的發展，而無需關心其中的原理，從而實現降本增效。

為此，騰訊云云開發團隊和微信團隊共同打造了云原生一體化平臺，即云開發和云托管。云開發（Tencent CloudBase，TCB）是騰訊云提供的云原生一體化開發環境和工具平臺，為開發者提供高可用、自動彈性擴縮的后端云服務，包含計算、存儲、托管等 Serverless 化能力，可用于云端一體化開發多種終端應用（小程序、公眾號、Web 應用、Flutter 客戶端等），幫助開發者統一構建和管理后端服務和云資源，避免了應用開發過程中繁瑣的服務器搭建及運維，開發者可以專注于業務邏輯的實現，開發門檻更低，效率更高。

云開發CloudBase產品架構

騰訊云微信云托管于6月21日正式上線，是新一代云原生應用引擎，主打托管通用能力。云托管更加貼近傳統后端開發者的習慣，可以無縫使用傳統的開發聯合技術棧，包括Spring Cloud/Dubbo、Java等常見工具。云托管集中了安全防刷、域名備案、監控告警、日志管理、CI/CD、多環境管理、MySQL、灰度發布、公網訪問等功能，用戶可以專注于自己的業務開發，把一切技術開發能力交給云托管。

微信云托管產品架構

在傳統開發模式下，如果小程序需要調用后端API必須要經過四步：用戶端的小程序調用WX.Login獲取CODE，后端服務器用CODE和微信服務器進行交互，換取微信用戶獨有的標識發送給小程序本地存儲，實現一次完整的調用。如果是云開發或者云托管的模式，由于云開發和云托管與微信服務器之間是通過微信私有鏈路進行調用，而不是公網通信，具有天然的可信賴性和安全性、可靠性，所以就可以省去這些煩瑣的交換步驟，直接一步到位，獲取用戶的OpenID或用戶信息，不再需要進行鑒權。

此外，對于運行在云原生服務器上的應用，可以無痛遷移到云開發或云托管上。對于前端來說，僅需改造一行代碼（原接口 wx.request 改為新接wx.cloud.callContainer）；對于后端來說，對于已經容器化的應用無需改造，因為云托管兼容Knative生態。對于未容器化的應用，只需要增加Dockerfile，就可以實現把傳統應用變成容器化的應用。云托管提供了各種模板，幫助用戶進行快速改造。

最后，張斯靜老師通過騰訊游戲、直享直播、蒙牛創造營、微信支付等案例，進一步闡述了云開發、云托管平臺的強大實力。

ES在騰訊直播業務中的應用及成本優化

用戶搜索和日志管理是數字媒體重要的服務。Elasticsearch 是一種流行的開源搜索和分析引擎，適用于日志分析、實時應用程序監控、點擊流分析等使用案例。一款優秀的Elasticsearch Service可以幫助用戶快速部署、輕松管理、按需擴展集群，簡化復雜運維操作，快速構建日志分析、異常監控、網站搜索等各類業務。

眾所周知，無論是直播還是在線會議，經常會出現網絡問題，導致發生丟包、網絡延遲等現象，同時CPU占有率也會增加，而直播問題的出現就會遭到客戶的投訴，因此，騰訊的直播業務需要一套直播質量分析系統來幫助客戶快速定位問題所在。

騰訊云專家工程師張彬介紹說，過去，騰訊的直播業務沒有采用ElasticSearch架構，是基于自研的數據存儲引擎開發的數據存儲和搜索功能，包括APP質量數據上報后，通過上報接口機，將數據傳入Kafka中，通過Kafka接入到自研lucene數據存儲引擎，而后進行數據查詢，通過多維分析的角度來快速定位問題。

但是，這套系統在疫情期間流量暴漲時期承擔了眾多壓力，遇到了諸多問題，例如高吞吐的情況下難以保證可用性；寫入慢，數據堆積，導致數據同步延遲高，平均查詢延遲達不到要求；系統擴展性差，需要大量人工完成運維工作；易用性不高，無法實現快速切換，自運維能力不強。

為了幫助騰訊直播業務解決以上難題，騰訊云幫助其切換到騰訊云ElasticSearch架構。但是，云直播的監控系統數量較大，單集群平均寫入速度1000w/s，業務至少保留近半年數據可供查詢，按照業務需求計算后需要大約1500臺物理機，遠遠超出業務成本預算。如何在滿足業務需求的同時降低成本？

張彬老師介紹了一系列存儲成本和計算成本優化的方案：根據數據的訪問頻率進行冷熱分離，從而形成數據的分層；監控數據精度，根據數據精度進行預合，提高計算速度；讀時建模，依托Schema on Read功能對于偏分析及數據結構不固定的場景，只存儲源數據，讀時建立動態字段；通過優化源數據壓縮算法，在性能和壓縮率中找到平衡點；結合大數據生態，整合大數據平臺的海量數據存儲能力，完成不同數據需求。

在直播用戶行為分析系統中，大部分需要選取多種維度做分析查詢，這會導致堆內存使用率很高，磁盤使用率卻比較低。因此，騰訊云打造了計算優化方案，借助堆外內存，釋放堆內存。最后優化的結果是內存開銷、數據管理能力、GC優勢明顯，性能持平略有優勢。

張彬老師表示，騰訊云的直播業務在過去可能一個ID需要1500臺機器來做支撐，通過存儲和計算的優化，最后在云端只需要100-200臺機器即可完成，大大降低了成本。

[[408153]]

活動現場

芒果TV在線業務微服務架構演進

芒果TV在經過第一代的煙囪式、第二代多煙囪式、第三代面向服務式、第四代共享服務式的服務組織架構演進過程中，遇到了各種各樣的問題。因此，芒果TV漸漸明確了微服務化改造的目標：一是打造高可用、高性能、可伸縮、可擴展、安全的應用，以拆分和服務化為基礎，將海量用戶產生的大規模的訪問流量進行分解，采用分而治之的方法。二是實現基礎服務共享化，降低成本、提高效率，通過對基礎服務、業務服務、基礎平臺、基礎組件等系統改造，實現服務的多次復用，同時通過服務大面積應用降低技術成本。

在微服務改造過程中，芒果TV面臨著一些難題，一是代碼結構老化，封裝無人維護，無法緊跟變化。針對這種困難，只有重構，而如何改又是一個新的問題。第二個難題是重復開發，同一類型的服務出現了N套服務在部署。三是配置和代碼耦合，開啟一個開關需要上線，配置一個變量需要上線，頻繁的配置變更上線。四是服務監控不完善，調用鏈監控缺失，上線經常會因為各種問題產生波動抖動。五是上線擴容、資源分配等事情全靠運維，遇到突發流量就會宕機，且資源使用率不合理。六是需求多，變化快，大量人力集中在聚合請求方面。各種業務接入各種域名，業務代理混亂，流控管理缺失，降級靠更新。