成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

視圖計算背后的技術架構思考

云計算
視頻和圖片因其強大的信息承載力,已經成為數據內容的主要載體和信息傳播的主要方式。5G的大帶寬、低時延、廣連接的特性激活了云視頻監控、云游戲、物聯網等場景應用,從消費互聯網到產業互聯網的延伸,更加促進了終端應用和視圖數據的爆發。

 數據載體、算力分布正在根本性變化

視頻和圖片因其強大的信息承載力,已經成為數據內容的主要載體和信息傳播的主要方式。5G的大帶寬、低時延、廣連接的特性激活了云視頻監控、云游戲、物聯網等場景應用,從消費互聯網到產業互聯網的延伸,更加促進了終端應用和視圖數據的爆發。

這些終端和數據具有分散、海量和價值密度相對低的特點,以攝像頭為例,IHS的研究指出,目前全球有10億個監控攝像頭在看世界,也就是持續產生視頻圖片數據,這個數據量是ZB級,但其中絕大部分數據價值較低,我們更需要留存產生關注事件的片段以及其結構化信息,這樣的場景和需求對計算和存儲的方式帶來了嚴峻挑戰和根本性變化。

新的基于邊緣的數據接入、計算和緩存的分布式系統架構有效地解決了這樣的問題,它能確保流量和計算收斂到本地,顯著降低網絡傳輸成本、提升計算效率,滿足5G低延時處理的場景化需求。

基于邊緣構建業務系統的技術挑戰

海量、分布式、異構的邊緣節點資源特性,會給業務帶來巨大的挑戰,在服務適配、彈性和高可用等方面都要進行相應處理,對業務系統而言有感,處理不好甚至會有損。

基于邊緣構建業務系統,技術挑戰主要來自以下幾個方面:

1.邊緣的節點分散且多級,節點多而體量小,需要進行復雜的管理,交互訪問時關注具體位置并會有多個入口,如計算和存儲的位置

2.資源的異構導致業務需要對資源進行選型,每個節點的資源類型分布也可能不均衡,如CPU、GPU、ARM陣列等不同的計算資源。

3.單一節點的彈性弱,全局的彈性強,伸縮又必須考慮部署位置和業務適配

4.單節點的割接,以及邊與邊、云與邊之間復雜的網絡環境,都可能導致服務抖動,甚至單點不可用,都需要業務系統考慮好服務漂移等問題,當任務有狀態時,考慮的情況會更加復雜。

如何應對這些挑戰,在使用海量分布式節點和中心云時體驗簡單和一致?最好只有一個交互面

視圖計算-位置無感的計算、緩存和連接平臺

視圖計算很好地解決了這個問題,它基于廣覆蓋的ENS基礎設施,提供位置無感的計算、緩存平臺,同時為了讓視圖數據能更好地上云,提供了視圖(終端)上云的連接平臺。

如上圖所示,在基礎設施層,通過資源納管、虛擬化和資源切片,形成統一的池化資源,并提供安全和隔離的能力;視圖計算PaaS平臺通過統一的網絡、計算、存儲調度,屏蔽了資源異構,以及資源的物理位置,根據業務特性、終端位置和資源狀態,進行邊緣資源與終端的匹配和協同調度,在保障業務低延時、高可用響應的同時,實現業務對計算、存儲和連接的位置無感;

比如在安防、教培、交通物流等攝像頭上云場景,設備接入、流媒體接入和處理會綜合考慮可用算力、網絡帶寬和存儲容量等節點狀態,就近選取最匹配的節點,節點位置更靠近內容的生產端(攝像頭)。而云游戲等場景,需要特定的渲染計算資源(如ARM板卡),同時要更靠近內容的消費端(手機端)側,當需要多人觀戰直播時,又可以推流到CDN網絡進行分發和異地觀看。

視圖計算云-邊-端協同架構

構建視圖計算平臺核心是云邊端的協同架構:

1.終端設備負責進行視圖等數據的采集和匯聚,以及視圖的解碼和展示(即瘦終端),同時能進行指令的輸入操控,或者是根據云上下發的配置和規則進行簡單計算。

2.視圖計算基于分散的邊緣節點構建了低延時的設備接入網關,實現了多種終端上云連接協議(如GB28181/RTMP等),同時能接收實時流和視頻圖片文件的快速上傳。在節點內或臨近節點進行計算處理和周期性存儲,計算結果(如結構化的AI分析數據)以及需要持久化長期存儲的數據,通過邊與云之間的安全加速通道實現快速回云。

3.視圖在中心云進行節點和設備管理,以及統一調度、Meta匯聚等。終端設備在云上會映射到一個虛擬設備,類似于物理世界的投影(也就是影子設備),對影子設備的管理、配置和操作,都會通過信令通道快速下發、執行和反饋,當設物理設備斷電或異常下線后,上下文能很好地保存,上線后會及時同步。

通過視圖計算看到的是一朵云、一個交互面,而不再是N個分散入口的分布式小云,云邊端的協同架構能在成本、延時和可靠性上找到最佳平衡點,比如成本上,網絡帶寬、計算和存儲成本需要綜合考量。

位置無感的多點協同計算

視圖計算服務針對視圖數據提供了三種位置無感的計算:

1.視圖基礎計算:包括轉碼、錄制、截圖等,通過編碼優化,實現高壓縮比,同等畫質可節省20~40%的存儲空間和傳輸帶寬

2.視圖AI計算:依托達摩院在計算機視覺上的算法積累,視圖計算提供各種場景化的視圖結構化分析、目標檢測和跟蹤等AI能力

3.自定義計算:自助上傳和托管算子,降低算法接入成本,方便用戶和算法供應商將算法集成到視圖計算服務中使用。除了算子和參數能自定義,計算模式也能按照自身業務需求進行自助定制。

這些計算的最大特征是“算隨網動”:計算隨著數據在網絡上的流動而展開,避免全量數據回傳中心云處理,實現算力的下沉和終端計算的上浮。

這張網就是阿里云的邊緣協同網絡,它實現了終端-邊緣、邊緣-邊緣、邊緣-中心的一體化協同,為上層應用屏蔽復雜的網絡環境,在提供優質的端到端接入和數據傳輸能力的同時,這張網注入了可計算和緩存的能力。

除了攝像頭上云等常見的本地計算場景,互聯網直播等場景也能基于視圖計算進行邊緣轉碼和實時AI分析,提升整體用戶體驗。比如直播流無需上行回傳中心再分發到邊緣,直接在就近節點進行轉碼壓縮。對于80%的冷流(無人觀看或極少人觀看)可以直接收斂到本地,而對于熱流轉碼后就近分發,也能降低延時和卡頓,讓客戶端播放更流暢。整個過程終端只需要通過統一域名進行接入,計算的具體位置不需要感知,位置無感的多點協同計算,可以像使用CDN加速一樣去完成數據計算。

可自定義的場景計算

在大量場景下,你可能已經擁有了自行開發的算子或應用,或是第三方算法供應商的算子,視圖計算提供開放可自定義的場景計算框架,可以將算子或應用托管在視圖計算上,真正實現幫用戶做自己的計算。

整個計算平臺分三層架構,從下往上,對應計算環境、計算調度和計算服務。

1.計算環境,即計算資源的生產和管控層,負責容器、VM等資源的生產,文件存儲,運行的系統軟件和算子應用的發布,安裝部署和配置,以及日志監控等,這一層也提供了基礎的應用隔離能力。

2.計算調度,實現資源的彈性伸縮管理和多維度的全局負載均衡,這一層在容器等底層資源的安全隔離上進行全局規劃和統籌,解決資源爭搶問題,同時不同顆粒度的計算任務實現混跑,提升資源的復用率。

3.計算服務,實現算子的托管、評估和實際的分流計算,同時對計算任務進行畫像分析,迭代和提升計算資源的消耗評估精準度,比如直播轉碼,除了編碼格式、分辨率、幀率等輸出參數,輸入的內容源也會一定程度影響實際的資源消耗,每路轉碼在算力消耗上是動態上下浮動的,會導致調度資源分配的精準度,需要動態分析和校準,最終實現調度分配水位和實際資源水位的一致。

整個接入過程非常簡單:

1.上傳和管理算子,配置計算模板和參數;云端會進行兼容性適配和資源消耗評估。

2.在線申請算力等資源,如不同計算規格的最高并發量,云端會進行容量評估和確認,并將算子下發、部署到各計算節點。

3.內容接入或用戶觸發,云端對數據進行分流和計算,并將計算結果實時反饋給用戶。

以云游戲為例,可加載游戲包并渲染視頻流的串流鏡像就是一種算子或應用,游戲廠商上傳游戲包、配置好渲染規格后,云端進行相應適配、資源評估和動態分配。

位置無感分布式存儲

在完成計算平臺后,數據的上云存儲是我們接下來要解決的問題,由于數據源的分散性,以及各種不同的價值密度和使用場景,比如體育賽事等直播內容的高價值,需要錄制回放持久化存儲,而視頻監控場景的攝像頭流相對價值偏低,只需要留存關鍵事件的視頻片段,絕大部分數據只要緩存數天或數月即可。

如何解決數據分散存儲、分級存儲的訪問延時、可用性和成本問題?

視圖計算基于邊緣分布式文件緩存和中心持久化的OSS存儲提供了位置無感的分布式存儲解決方案,全球各地的數據源都可以通過視圖計算就近存取訪問邊緣節點,緩存位置會參考數據接入和計算的位置,確保整體親和度。周期性數據會緩存到邊緣,長期存儲的高價值數據以及結構化分析數據會回到中心存儲。

同時,視圖計算通過邊緣加速網絡解決了跨地域跨運營商上傳大文件延遲大、速度慢、易中斷等問題,實現中轉加速回云。

用戶看到和使用的仍然是一朵云,而不用關注具體的存儲位置。

分布式緩存平臺

位置無感的存儲接入通過分布式緩存平臺實現,它提供了就近訪問、大容量、高性價比的周期性文件緩存,在緩存周期內通過多點協同的存儲調度、多節點多副本冗余,實現了服務的高可用和數據的高可靠性。視圖計算提供了靈活的緩存接入和調度策略(全國、區域、運營商、自定義節點范圍)。同時兼容中心OSS使用方式(SDK/API),下載OSS SDK后只需更改endpoint接入域名就可以幾乎零開發成本切換到分布式緩存,相比之前不同的是去除了Region概念,直接采用了統一的中心化域名接入和管理方式,真正實現了只上一朵云、只存一朵云。

如何實現這種位置無感呢?關鍵點在于:

1.物理文件緩存在邊緣節點,管控數據、文件元信息等統一匯聚到中心,集中管理和檢索。

2.文件寫入和讀取采用302調度方式,寫入統一域名,經過存儲調度,跳轉到真實的物理位置進行讀寫。

3.實時的節點狀態和容量監測,單點不可寫,自動遷移到其他節點,完成服務無感漂移和切換,單點恢復后快速復制同步。

4.提供多節點多副本冗余存儲,實現單點不可用時的流量快速轉移,也可以在訪問量大時進行負載均衡。

視圖連接平臺和全周期PaaS服務

為了幫助視圖數據更好地上云,視圖計算提供了終端上云的連接平臺和覆蓋視圖全生命周期的PaaS服務,包括采集、計算處理和內容消費。連接的能力主要在于:

1.設備的接入和管控

2.視圖內容的接入和管理

3.視圖處理和視圖存儲分別基于前面介紹的位置無感計算平臺和緩存平臺,提供了針對視圖進行轉碼、AI分析、加密和串流渲染等基礎能力和復雜的處理能力。視圖存儲上提供了視圖存取和檢索能力,以及生命周期的清理策略,和回云存儲及歸檔策略。

安全易用的視圖(終端)一鍵上云

目前主流的視圖終端上云方案有三種:

1.安防領域的國標GB/T-28181上云,存在接入復雜,安全性低和功能缺失等問題,如信令明文傳輸,數據流基本無認證,只能基于SSRC簡單鑒別,無法有效規避沖撞或偽造;國標存在2011、2016多個版本的適配和過渡問題,整體上云體驗較差。

2.ONVIF自2008年提出以來,在世界范圍內獲得了大量設備廠商支持,但其組播發現機制在公共云無法實現,上云不友好,同時其交互基于HTTP標準,采用SOAP協議格式來定義信令內容,通信延遲較大。

3.大量設備廠商推出私有的協議標準上云,種類多,各自封閉、黑盒化,上云接入無法復用,較多重復建設。

視圖計算推出的一鍵上云方案,提供了開放、易用、安全、靈活的終端一鍵上云能力,主要特性在于:

兼容國標/ONVIF等,適配各類終端,同時解決了國標接入復雜和安全性問題,以及ONVIF的公共云接入問題。基于阿里云廣覆蓋的邊緣節點構建的設備接入網關,能確保就近接入,復用CDN低延時的傳輸和加速網絡,以及多協議接入的特性,確保低延時的設備通信、信令控制和數據流接入。核心的信令通道實現了透明的雙向通信,廠商和開發者也可以自定義控制信令。

阿里云開放設備上云協議ODCAP

視圖計算連接平臺的一鍵上云方案核心構建在ODCAP(Open Device Cloud Access Protocol)開放設備上云協議上,我們會完全開放協議內容,支持任何廠商的多樣化設備自主接入。

終端上云主體通過網絡互聯互通,ODCAP協議支持多種多樣的網絡互連結構:

1.設備處在內部網絡,通過防火墻NAT訪問公網,也可以通過設備網關轉接;2.設備直接在公網環境下,如具備4G/5G聯網能力的設備,可以采取直連;3.ODCAP同時支持級聯模式,子設備可以通過其他協議連接到上一級設備,直連設備屏蔽了下級子設備的不同接入訪問,統一以ODCAP協議接入云平臺。

ODCAP協議支持多種類型設備,實現多樣化終端上云。不同設備具備的功能各異,為了統一描述,我們用設備模型來定義設備,包括4個層面:

資源,設備產生的各種數據,如實時視頻流,視頻圖片文件,終端AI分析后的結構化數據等配置,設備的各種配置信息事件,設備觸發的各種事件服務,設備提供的功能服務

 

責任編輯:梁菲 來源: 阿里云云棲號
相關推薦

2012-09-11 13:38:06

架構架構設計架構思考

2018-08-02 16:46:58

2023-10-16 18:39:22

2017-01-17 16:39:50

2016-12-30 13:52:29

2024-10-29 14:00:21

云計算虛擬網絡

2022-04-19 08:26:20

WebAPI架構

2016-12-19 11:33:26

2021-12-27 11:35:40

特斯拉FSDADAS

2012-06-01 09:36:27

2021-07-12 15:00:48

邊緣計算數據處理IT企業

2016-07-28 22:57:33

云計算Google

2021-07-07 10:43:40

云計算數據架構數據分析

2012-05-31 10:54:41

2015-08-24 10:16:53

Google雷擊技術架構 分布式UPS

2018-08-27 11:36:47

Worktile

2022-10-24 13:17:46

大數據云計算移動計算

2019-05-30 14:30:42

技術管理架構

2021-01-29 09:18:09

技術研發架構

2020-09-04 14:10:31

架構軟件互聯網
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 欧州一区二区三区 | 国产精品久久二区 | 69精品久久久久久 | 国外成人在线视频 | 亚洲美女一区 | 欧美在线一区视频 | 日韩久久精品视频 | 日韩一区二区三区四区五区六区 | 精品一区二区三区四区五区 | 一区二区三区四区av | 波多野结衣一区二区三区 | 伊人精品在线视频 | 国产精品久久久久免费 | 欧美极品在线播放 | 久久综合香蕉 | 最近日韩中文字幕 | 久在线 | 成人精品国产免费网站 | 精品国产一区二区三区性色av | av一级毛片 | 亚洲欧美中文字幕 | 亚洲成人福利视频 | 日韩视频一区二区 | 欧美一区二区在线免费观看 | 国产一区二区三区四区区 | 一区二区三区不卡视频 | 亚洲h视频 | 国产成人久久av免费高清密臂 | 亚洲黄色成人网 | 97影院在线午夜 | 中文字幕亚洲一区二区三区 | 综合久久亚洲 | 日韩在线小视频 | 亚洲欧美日韩在线不卡 | 免费久久久久久 | 久久精点视频 | 亚洲热在线视频 | 日韩伦理电影免费在线观看 | 久久国产精品久久 | 日本三级全黄三级三级三级口周 | 激情网五月天 |