隨著技術(shù)的發(fā)展與市場需求的深入，IoT物聯(lián)網(wǎng)已進入快速發(fā)展期，給ICT行業(yè)帶來了廣闊的市場空間。在剛剛過去的2018華為中國生態(tài)伙伴大會期間，通過展區(qū)展示不難發(fā)現(xiàn)，在汽車、水、電、氣、工業(yè)設(shè)備等等領(lǐng)域，越來越多的終端聯(lián)接網(wǎng)絡(luò)，源源不斷的產(chǎn)生海量時序和時空數(shù)據(jù)，這些數(shù)據(jù)往往具有很強的時效性，隨著時間的推移，其價值也就急速衰減，因此如何應(yīng)對海量時序/時空數(shù)據(jù)的高速存儲和查詢、如何對數(shù)據(jù)進行實時的檢測和監(jiān)控、如何實時的挖掘出數(shù)據(jù)背后的價值都是很大的挑戰(zhàn)。那么，華為云EI企業(yè)智能又是如何幫助用戶與伙伴應(yīng)對這些挑戰(zhàn)呢？

[[223738]]

車聯(lián)網(wǎng)正成為IoT行業(yè)應(yīng)用的先鋒

IoT典型場景

根據(jù)筆者在IoT領(lǐng)域的一些實踐經(jīng)驗，將IoT領(lǐng)域的在線應(yīng)用場景歸納為如下：

物聯(lián)網(wǎng)IoT數(shù)據(jù)源產(chǎn)生的數(shù)據(jù)大多是時序和時空數(shù)據(jù)，那么什么是時序數(shù)據(jù)和時空數(shù)據(jù)。我們一般認為時序數(shù)據(jù)是某個時間點發(fā)生了某件事情，但是在時序數(shù)據(jù)這個領(lǐng)域里定義的時序數(shù)據(jù)全都是跟數(shù)值有關(guān)的。舉一個簡單例子，一輛汽車在上午9點在某個加油站加油這條記錄，相當于一條日志，本身不能構(gòu)成一個時序數(shù)據(jù)，但是如果今天我們每一秒鐘都記錄了該汽車的油箱里具體油量的值，那么今天的86400條油量記錄數(shù)據(jù)再加上每秒的時間點則構(gòu)成了一個時序數(shù)據(jù)。那什么是時空數(shù)據(jù)呢？簡單來說，如果今天我們每一秒鐘都記錄了該汽車的位置信息（X\Y坐標），這些位置數(shù)據(jù)則構(gòu)成了二維空間數(shù)據(jù)，那么這86400條的坐標記錄數(shù)據(jù)加上每秒的時間點則構(gòu)成了一個時空數(shù)據(jù)。

對于這些時序和時空數(shù)據(jù)的在線業(yè)務(wù)可以簡單的分為三大類，實時檢測、實時查詢和實時分析。

實時檢測是期望可以實時的對異常數(shù)據(jù)、異常行為和故障進行檢測，快速返回給管理系統(tǒng)或者通知相關(guān)人員等。比如車隊管理則要求進行電子圍欄的檢測，一旦發(fā)現(xiàn)車輛行駛或停止的范圍超出了規(guī)定的地理空間范圍，則可以進行告警。或者貨運公司發(fā)現(xiàn)某貨運汽車并沒有按照正常的路線行駛，偏離了正常航道，也可以進行告警，從而進行實時糾偏。

實時查詢，主要是對于這些時序數(shù)據(jù)或者時空數(shù)據(jù)進行查詢以進行下一步的分析或進行展現(xiàn)，比如查詢早上7點到9點早高峰期間車的軌跡、車輛本周的油量變化曲線、用戶用電曲線等。由于IoT采集數(shù)據(jù)的頻率非常高，可能還需要繪制低精度的曲線。

實時分析，主要是對于采集到的指標數(shù)據(jù)進行分析，得到基于某些行業(yè)的知識，比如對于駕駛員的行為分析，對于汽車油耗的統(tǒng)計分析等。

IoT數(shù)據(jù)實時分析方案

在IoT領(lǐng)域，對于IoT數(shù)據(jù)的實時處理流程包括以下幾個步驟：

1. 通過IoT Hub進行數(shù)據(jù)采集或者通過GPS的接入；
2. 對數(shù)據(jù)進行實時檢測，或者預(yù)處理；
3. 數(shù)據(jù)寫入數(shù)據(jù)庫/文件系統(tǒng)；
4. 對數(shù)據(jù)庫/文件系統(tǒng)中的數(shù)據(jù)進行查詢、分析。

基于華為云服務(wù)來實現(xiàn)上述的處理流程，主要會如下圖所示的幾個服務(wù)：

IoT Hub可以對接物聯(lián)網(wǎng)終端進行數(shù)據(jù)采集；DIS（數(shù)據(jù)接入服務(wù)）采用kafka內(nèi)核將數(shù)據(jù)接入到華為云，并和CloudStream（實時流計算服務(wù)）無縫對接；CloudStream從DIS消費數(shù)據(jù)進行實時檢測或分析，返回檢測結(jié)果給在線應(yīng)用，或者增加一些分析數(shù)據(jù)寫入到CloudTable時序/時空數(shù)據(jù)庫中；CloudTable（表格存儲服務(wù)）作為毫秒級NoSQL數(shù)據(jù)庫可以支持海量的數(shù)據(jù)存儲，并提供時序/時空數(shù)據(jù)的查詢和實時分析；對于一些近實時的查詢分析可以通過spark內(nèi)核的UQuery服務(wù)來進行。下面詳細介紹核心服務(wù)CloudStream實時流計算和CloudTable時序/時空數(shù)據(jù)庫能給企業(yè)帶來什么價值。

實時流計算，IoT的核心引擎

對于IoT場景的海量時序/時空數(shù)據(jù)，華為云CloudStream作為實時流式大數(shù)據(jù)分析服務(wù)，微秒級的計算性能為企業(yè)挖掘?qū)崟r數(shù)據(jù)價值提供了核心能力，具體體現(xiàn)有以下顯著優(yōu)勢：

1、雙引擎

IoT場景海量的數(shù)據(jù)實時計算必須需要有高性能的計算引擎支撐，既要滿足低時延高吞吐的性能要求，又要滿足數(shù)據(jù)一致性要求。另外，IoT場景多種多樣的業(yè)務(wù)也要求計算引擎能夠運行批量，流式，交互式，圖處理，機器學(xué)習(xí)等應(yīng)用。目前業(yè)界主流的流計算引擎Flink和Spark Streaming都非常適合IoT場景，兩者以不同的設(shè)計思想（前者是原生流式計算，后者是微批處理計算）各領(lǐng)風(fēng)騷，都有著活躍的開源社區(qū)支撐。

CloudStream集成了Flink和Spark Streaming，雙引擎方式很好的連接了開源生態(tài)，完全兼容開源版本Flink1.4和Spark2.2，方便業(yè)務(wù)人員平滑遷移線下業(yè)務(wù)上云。

2、基于地理位置分析的SQL 擴展

IoT大量業(yè)務(wù)場景需要對時空數(shù)據(jù)進行實時的地理位置分析，如電子圍欄、偏航檢測等。CloudStream擴展了Flink SQL，提供了基于地理位置分析的一系列Time GeoSpatial語法，方便業(yè)務(wù)人員使用SQL快速開發(fā)地理位置分析業(yè)務(wù)，其中DDL for Time GeoSpatial可以快速定義基本元素，例如點、線、多邊形、圓等；SQL Geospatial Scalar Functions 可以對基本元素進行基本操作，例如計算兩點間距離、判斷區(qū)域是否覆蓋、判斷點是否在區(qū)域內(nèi)、移動位置計算、分析距離相交包含關(guān)系等；SQL Time Geospatial可以在窗口中對基本元素進行基本操作，例如計算多種窗口的平均速度和距離。

圖示為實時流計算服務(wù)的IoT算子輕松實現(xiàn)電子圍欄檢測

3、CEP on SQL

IoT大量業(yè)務(wù)場景需要實時檢測無盡數(shù)據(jù)流中的復(fù)雜模式，例如車輛異常行為檢測、工業(yè)設(shè)備異常運行狀態(tài)檢測。CloudStream擴展了Flink SQL，提供了非常高效的CEP on SQL的能力，提供了基于Match Recognize的模式匹配檢測，可以幫助業(yè)務(wù)人員使用SQL實現(xiàn)基于復(fù)雜事件規(guī)則的異常檢測業(yè)務(wù)，無需開發(fā)Flink PATTERN API自定義業(yè)務(wù)，只需要一行SQL查詢語句搞定，大大降低此類業(yè)務(wù)開發(fā)難度。

CloudTable時序/時空數(shù)據(jù)庫，為IoT數(shù)據(jù)而生

CloudTable是華為云上毫秒級的NoSQL數(shù)據(jù)庫，提供了HBase、OpenTSDB、GeoMesa接口，其中OpenTSDB和GeoMesa作為時序和時空數(shù)據(jù)庫為IoT行業(yè)而生，為時序和時空數(shù)據(jù)的高吞吐量的寫入和查詢提供了解決方案。

高性能時序數(shù)據(jù)庫

基于對分布式架構(gòu)系統(tǒng)的良好支持和完善的生態(tài)，CloudTable選擇了OpenTSDB作為時序數(shù)據(jù)庫內(nèi)核，并做了軟硬件的垂直性能優(yōu)化，可以支持***別的寫入吞吐量和百萬數(shù)據(jù)點3秒之內(nèi)的讀取性能，很好的解決物聯(lián)網(wǎng)領(lǐng)域海量數(shù)據(jù)寫入和讀取性能的問題。

同時，時序數(shù)據(jù)庫還提供了三種常用計算：插值、降精度和聚合。

對于每秒都上報的數(shù)據(jù)，其中某一秒的數(shù)據(jù)因為某些原因丟失了，則可以通過插值進行補齊。如下圖紅色框內(nèi)的點（圖a），對綠色線條和紅色線條的值進行求和聚合計算，如果沒有插值，則會出現(xiàn)結(jié)果突變的情況，如果進行了插值則是比較好的效果（圖b）

圖a 無插值求和結(jié)果 圖b 插值求和結(jié)果

降精度有助于提升查詢效率，同時可以提供更加清晰的曲線信息給在線應(yīng)用。

圖a 原始時序數(shù)據(jù) 圖b 降精度之后數(shù)據(jù)

時序數(shù)據(jù)庫中的聚合和傳統(tǒng)數(shù)據(jù)庫的聚合還有一些差異。時序數(shù)據(jù)庫中聚合是將多個獨立的時間線聚合成一個數(shù)據(jù)時間序列，類似于SQL里面的group by，但是此處的aggregation是按照每個時間戳和分組進行聚合。降精度計算中也可以使用不同的聚合函數(shù)進行降精度，而每個聚合函數(shù)中不僅會包含聚合的函數(shù)，也會包含插值的函數(shù)，對于缺失的數(shù)據(jù)，可以采用插值后的數(shù)據(jù)進行聚合。

時空數(shù)據(jù)庫

華為云CloudTable引入了地理大數(shù)據(jù)處理套件GeoMesa，可以幫助物聯(lián)網(wǎng)存儲和分析海量時空(spatio-temporal)數(shù)據(jù)，提供軌跡查詢、區(qū)域分布統(tǒng)計、區(qū)域查詢、密度分析、聚合、OD分析等功能。

GeoMesa基于Geohash編碼以及空間填充曲線的理論基礎(chǔ)，做到了將二維經(jīng)緯度轉(zhuǎn)換成一維字符串，將三維時空（經(jīng)緯度和時間）轉(zhuǎn)換成一維字符串，為高性能查詢打下了基礎(chǔ)。

通過CloudTable中GeoMesa，對于物聯(lián)網(wǎng)中時空維度的查詢簡單有效，舉個例子，比如

1. 早上7點-9點，有哪些人/車出現(xiàn)在深圳市龍崗區(qū)坂田？
2. 早上7點-9點，從深圳市南山區(qū)到深圳市龍崗區(qū)坂田的人/車的軌跡是怎么樣的？
3. 晚上5:30-7:30，深圳市龍崗區(qū)坂田的人/車的軌跡是怎么樣的？

圖示為基于時空數(shù)據(jù)庫服務(wù)用CQL實現(xiàn)區(qū)域分析

通過以上的一些查詢，可以分析出行人/車的出行規(guī)律，進而進行附近的健身房、餐館、娛樂設(shè)施的推薦；分析出住宅區(qū)、工作區(qū)的聚集地；分析出同行的人的數(shù)量，抽象出公共巴士的路線，優(yōu)化公共交通路線等等。通過時空數(shù)據(jù)的查詢和分析可以進一步挖掘出時空數(shù)據(jù)背后的價值。

Cloud2.0時代，越來越多的企業(yè)關(guān)注如何提升應(yīng)用上云效率的同時，也在聚焦新技術(shù)給現(xiàn)行業(yè)務(wù)帶來的創(chuàng)新與改變。華為云實時流計算和時空數(shù)據(jù)庫幫助行業(yè)伙伴與客戶輕松實現(xiàn)IoT場景下時空時序數(shù)據(jù)的實時計算、存儲和查詢，為IoT海量數(shù)據(jù)和業(yè)務(wù)應(yīng)用之間架起一道橋梁。除此之外，IoT場景還有很多即有趣又豐富的業(yè)務(wù)，華為云EI企業(yè)智能提供了豐富的大數(shù)據(jù)和AI服務(wù)，比如機器學(xué)習(xí)服務(wù)、圖引擎服務(wù)、深度學(xué)習(xí)服務(wù)等，將攜手與行業(yè)伙伴共同擴展更多能力，豐富更多算法和模型，從而打開IoT***可能。

點擊了解華為云EI: https://www.huaweicloud.com/ei