一個窨井蓋壞了

多久能被工作人員發現？

在上海浦東

只需要幾分鐘

這離不開物聯網設備提供的

實時數據支持

[[412758]]

IDC預測到2025年

全球物聯網設備數量

將達到416億臺

如何存儲、利用這些

實時產生的流數據

成為一個亟待解決的問題

美劇《上載新生》大開“腦洞”，對未來數字化生活“狠狠”進行了一番暢想，人工智能提醒你買菠菜補鐵，虛擬交警借助無人機飛到違章車主面前罰款……如果將邁向新階段的數字化生活比作向目的地高速行駛的汽車，那么數據就是提供源動力的燃料。

如今，“燃料”的供應來源正在擴大。數據的創建、使用和存儲位置不再局限于傳統的數據中心，也不再僅限于云端。數據源源不斷地從各種來源和位置流式傳輸而來，包括通過無線和移動方式傳送的數據。

隨著邊緣的數據量呈指數級增長，如同水龍頭里的水，流數據嘩嘩地流出，5G網絡的興起，更是為流數據打開了流量“閥門”。容器云、高性能存儲硬件水平的不斷提高，讓實時流處理擁有越來越廣泛的市場前景。

流數據，簡言之，是指沒有明確定義開始或結束的連續數據流。比如，我們看的“下飯”綜藝屬于視頻流、上下班聽的音樂屬于音頻流。流數據的來源包括日常生活中的移動應用程序、安全攝像頭、無人機等邊緣設備。

[[412759]]

這些來源豐富的流數據呈現出以下特點：

1

數據實時到達；

2

數據規模宏大且不能預知其最大值；

3

數據到達次序獨立，不受應用系統所控制；

4

數據一經處理，除非特意保存，否則不能被再次取出處理，或者再次提取數據代價昂貴。

流數據的這些特點，令企業開始重新審視應用程序以及基礎架構的部署。加之，數字化時代，用戶需要沉浸式、實時的數字體驗和互動，流數據處理解決方案面臨著諸多需求。

一方面，傳統的批處理數據引擎已經完全無法滿足現代企業對實時性的要求；另一方面，現有的流數據系統大都基于消息模型，例如Kafka、Spark等，這些系統從本質上看，僅僅只是一些高速消息系統，因此很難適應當今物聯網趨勢下的各種復雜數據處理需求。

為了滿足層出不窮的實時應用場景，同時降低大數據應用平臺的投入，戴爾易安信流數據處理平臺（Streaming Data Platform,SDP）應運而生。作為一個可彈性擴展的平臺，SDP用于實時獲取、存儲和分析連續的流數據，可在同一個應用程序中同時處理實時和收集的歷史數據。

該平臺可以從各種來源捕獲和存儲流數據，這些來源包括物聯網設備、網絡日志、工業自動化、財務數據、實時視頻、社交媒體源、應用程序和事件流。SDP能夠處理來自多個來源的數百萬個數據流，并確保低延遲和高可用性。

在今年的戴爾科技集團全球峰會，升級后的戴爾易安信流數據平臺全新亮相。新的SDP能夠在邊緣提供強大的實時分析能力。同時占用空間較小，非常適合在邊緣實時捕獲、存儲和分析流數據。

目前，戴爾易安信流數據平臺已經在工業制造、建筑等行業得到實際應用，為客戶業務提供預防性維護、檢測等服務，并參與到戴爾科技為中國賽艇隊、皮劃艇隊開發的綜合智能訓練輔助系統中，提供邊緣流數據處理解決方案。

而SDP的成功落地離不開其“得力干將”——流數據存儲引擎Pravega。

“Good Speed”是如何實現的

Pravega在梵語中意為“Good Speed”，其設計宗旨是成為流的實時存儲解決方案。作為平臺內的自研開源組件，Pravega是戴爾易安信流數據平臺最基礎的組件，承擔著為所有其它組件提供流式數據存取服務的重任。

應用程序將數據持久化存儲到Pravega中，Pravega的Stream可以有無限制的數量并且持久化存儲任意長時間，使用同樣的Reader API提供尾讀(tail read)和追趕讀(catch-up read)功能，能夠有效滿足兩種處理方式的統一。

Kafka和Pulsar等消息中間件提供了非常適合當今數據密集型應用程序的現代Pub/Su基礎架構。Pravega進一步增強了這種流行的編程模型，提供了云原生流媒體基礎設施，并解決了令Kafka和Pulsar束手無策的架構問題，如分區的自動擴展、如何為大量分區保持高性能。

▲Pravega架構圖

Pravega采取了存儲分層的設計：

Tier 1存儲

Tier1的存儲通常部署在Pravega集群內部，主要是提供對低延遲，短期的熱數據的存儲。在每個Segment Store結點都有Cache以加快數據讀取速率，Pravega使用Apache Bookeeper來保證低延遲的日志存儲服務。

Long-term存儲

Long-term的存儲通常部署在Pravega集群外部，主要是提供對流數據的長期存儲，即冷數據的存儲。不僅支持HDFS、NFS，還會支持企業級的存儲如戴爾易安信Isilon、ECS等產品。

存儲分層使Pravega在延遲與吞吐量之間達到了一個最佳狀態。這使得Pravega成為向實時和批處理（分析）應用程序提供數據的理想存儲基礎。并且，Pravega是以Kubernetes Operator來對集群各組件進行有狀態的應用部署，這可以使得應用的彈性伸縮更為靈活方便。

Pravega解決了使用傳統消息隊列數據丟失問題和自動伸縮難題，客戶可以借助其降低存儲和計算成本，減小運維壓力，提高代碼開發效率。此前，Pravega還聯合TiDB構建了實時數據倉方案，提高了實時數倉系統的并行性，可用性與安全性。

豐富的應用場景，令Pravega擁有廣闊的空間大施拳腳。下面我們跟隨戴爾易安信流數據平臺產品營銷經理Amy Tenanes的介紹，一起來了解下它是如何為企業降低運營成本、提供實時洞察力和流程優化的。

 

Pravega的典型應用場景

游樂園設施的預防性維護

 

通過使用Pravega，客戶可以從游樂園過山車沿線的數千個傳感器中，獲取實時流數據。這些數據可用于識別關鍵點，比如過山車上軌道上有多少輛車，這些車在某一點經過時傳感器每秒經歷多少次振動。

[[412762]]

假設一個正常的振動讀數是每秒3000次，當振動讀數過高時，Pravega可以提醒維護技術人員某個特定的游樂設施需要維護。同樣的數據可以在以后使用完全相同的工具進行訪問，有助于客戶在更長的時間段內進行比較，總結出趨勢，以預測故障或確定維修需求。

不僅是過山車，汽車行業同樣也可以用到Pravega。它能夠為油溫、輪胎壓力表等設置閾值，在輪胎漏氣、發動機狀況不佳等問題進一步惡化前，提醒客戶進行預防性維護。

工業物聯網中的異常檢測

在制造業環境中，異常檢測對節省時間、資源和開支極為重要。借助安置在生產線上的物聯網傳感器和攝像頭，Pravega可以捕獲圖像和數據，比如傳送帶的速度和溫度。

攝像機圖像可以自動發現不符合規格的零部件或產品，然后發出警報，提醒哪里存在異常現象。利用來自傳感器的數據，客戶很容易發現機器的環境溫度是否太高、傳送帶的速度是否正常等。

[[412763]]

此外，異常檢測還可用于制造業之外的許多行業。比如它可以用于金融業，檢測移動支票存款中的異常情況；可以用于咖啡飲品行業，通過監測數據對機器的預防性維護，并提供自動重新訂購用品；還可以用于發電站，以發現水力發電設施的不足之處，其實際應用非常廣闊。

建筑業中施工的準確性和資源跟蹤

在建筑環境中，無人機將實時視頻和遙測數據流傳送到Pravega。通過其提供的建筑項目實時進展情況，最新進展報告可以將項目的數字效果圖與實際進展情況進行比較，確保施工的準確性和規劃時間的適當性。

[[412764]]

同時，通過在地面建筑設備上安裝傳感器，Pravega可以實現物體檢測，并對設備、人員和材料進行跟蹤，確保在多個項目中對每一部分的資源進行最佳分配、利用。

“智能廚房”中的溫度控制

Pravega可與大型儲存冷柜中的數字溫度計一起使用，實時獲取流式溫度讀數，并在溫度超出范圍時發出警報。這可以防止冷藏食品在冷柜門沒關好的情況下變質，從而讓食品獲得盡可能長的保質期。

隨著自動駕駛、股票交易等更多流數據應用場景的興起，戴爾易安信流數據處理平臺將服務更多領域，Pravega的價值也會進一步放大，“飛入”各行各業，幫助客戶加速數字化轉型。

 

各位少俠、俠女且留步

We want you！

與小伙伴合力闖蕩

流世界的機會來了

[[412765]]

今天，實時流無處不在

而Pravega為流式計算

重新構建了全新的存儲

想不想

全面了解Pravega的優秀特性

與業界大牛來一場親密接觸

展示你和小伙伴

對于實時數據分析的奇思妙想

 

由戴爾科技集團舉辦的

Pravega創客大賽

火熱報名中！

為你們提供快速實現想法的機會

iPhone12等豐厚獎品已備好

讓更多志同道合的人

一起擁抱流的世界！

歡迎掃描下圖二維碼

或點擊文末報名參賽

 

除了Pravega創客大賽

2021戴爾科技峰會也將于

8月18日盛大開幕

為您呈現未來企業競爭力！

 

2021

戴爾科技峰會

“智匯·商業新磁場”

 

8月18日

上海跨國采購國展中心

誠邀您的蒞臨

 

相關內容推薦：戴爾科技新一代邊緣服務器 | 最關鍵的五個要點

文章來自公眾號戴爾易安信解決方案