一、簡介

近年來“物聯網”(IoT)和“大數據”是兩個最受矚目的話題。在物聯網的概念里，有關任何開和關切換到網絡的設備皆會彼此連接，它們之間都彼此相互連結。這包括了手機、咖啡機、洗衣機、耳機、臺燈以及可穿戴的設備，很多物品都是屬于這個范疇(圖 1)。這也適用于機器零件，例如：飛機的噴氣發動機或石油鉆井平臺的鉆頭。無論有沒有意識到這一點，我們的生活周圍已經被這些依賴于大數據的東西所包圍了，不過這也使得生活更美好。

圖1 物聯網在連接設備的應用 (來源: the IPSO Alliance)

物聯網(IoT)是目前大數據市場的***趨勢。在未來十年內，估計會出現約兩百五十億個網絡連接設備，比個人計算機、手機和平板計算機等的數量加起來還多，這是一個很龐大的連接(有人甚至估計這個數字還要高得多，超過一千億)。物聯網是連接 “物品” 的巨大網絡。這關系是在人與人、人與事、物與物之間。因此，影響物聯網***的因素之一就是數據：數據量、數據的管理和使用，如圖2 所示。

 

 

 

 

圖2 物聯網連接數據的數量 

 

二、大數據

大數據是指大量的數據，它是非結構化和沒有組織性的，指的是不斷增加的數據，且需要收集、儲存、管理和分析的技術。這是個復雜的和多層面的現象，影響到人員、流程和技術。從技術的角度來看，大數據整合了組織、管理、分析和顯示數據，這些都是“Seven V’S”的特點。

 

 

 

 

圖3 在 Seven V’S 里面的大數據演變為數據的價值

 

1. 資料量

大數據的數據量，是指從這些來源(文字、聲音、視頻、社交網絡、調查研究、醫療數據、空間意象、犯罪報導、氣象預報和自然災害等等)所收集到的各個數據。而在處理大數據的問題時，數量的多寡是一個關鍵的因素。

2. 數據輸出輸入的速度

這個速度影響負責大量數量和數據進來的速度。例如，當發生數據有時間上的緊迫、需要立即處理并迅速保存的時候。

3. 數據類型，多樣性

多樣性是指數據的不同數據資源和格式，而它不能將自己儲存在結構化的關系數據庫系統。數據的多樣性直接影響數據的完整性。數據中的多樣性越復雜，就越容易產生錯誤。

4. 真實性

由于非結構化和大數據的處理應考慮其準確性 - 數據的真實性。而“真實性”將成為最受關注的一項因素，尤其是對于大數據的處理、相關分析以及***結果這些方面而言。

5. 有效性

數據的有效性可能聽起來相似于數據的準確性，但概念上卻是不同的。有效性意味著數據的正確性和精確度。

6. 能見度

能見度指的是能夠看到或被看到–它是隱含的。來自不同來源的數據需要合并在一起，而它們是由可見的技術層所組成的大數據。

7. 價值

這是一個非常重要、具有價值或很有用的數據。這個“價值”是大數據處理后所期望的結果。實際上，數據的價值必須超過成本。

大數據技術是一項新的技術和結構，意指在從各種非常大量的數據中獲取價值，并透過使用快速采集來發現和/或分析大數據技術層，包括：

• 基礎設施，如儲存系統，服務器和數據中心網絡基礎結構
• 數據組織和管理軟件
• 分析和搜尋軟件
• 決策輔助和自動化軟件
• 服務器包含業務咨詢、業務流程外包、IT 外包、以 IT 項目為基礎的服務、IT 輔助和培訓有關大數據如何運用。

圖4 大數據在物聯網中的角色

如果沒有適當的把數據收集到位，對企業而言將不能排序所有在嵌入式傳感器(圖 4)中流動的信息流。這意味著，如果沒有大數據，物聯網僅可提供企業一點點東西。要引進先進的物聯網使用案例，其關鍵在于：在一般情況下進行數據分析、要能從想象中到實際上可以實施、借助進入到數據基礎結構，來達到經濟實惠和易維護性。

8. 大數據架構

新大數據結構是彌補傳統系統中的不足之處，但也增加了整體的復雜性。這種技術使公司能夠分配數據的儲存與數據的分析，并分析有效性以及辨識模式、趨勢等。公司不僅能夠進行歷史分析和回饋導向的報告，同時也期待著，預測商業的見解，從而積極支持未來的決策。多數專業系統需要處理不同的需求和方法。特別是對于物聯網而言，M2M 和傳感器的數據，因為數據的實時處理和分析是必要的，而且傳統系統無法提供其所需，因此內存和流動式數據庫的應用程序是必要且不可少的。

大數據的技術結構可以分成六個不同的重點領域，以專業技術為主軸：數據儲存、數據存取、數據整合、分析處理、視覺和數據管理。

圖5 簡易大數據架構

9. 云端運算

而物聯網真正的創新來自于它與云端運算的***結合。當連接設備之間相互發生作用時，大量的數據將產生于此。這些數據很容易地被捕捉到以及儲存，但需要將其轉化為有價值的知識和可執行的情報–而這是云端真實的實力所在。實際上，云端運算是一個模型，為了足夠方便、并依據網絡需求權限，來配置運算資源的共享池(如網絡，服務器，儲存，應用和服務)，它可快速配置和發布最小的管理工作或服務提供商互動。有三種云端服務模式如下(圖 6)：

(1)云端軟件服務(SaaS)

多數的 SaaS 應用程序，是用來涵蓋在所有情況的范圍之下企業用戶的所需。

(2)云端平臺服務(PaaS)

PaaS 提供開發人員工具和知識庫構建、測試、配置和在云端基礎設施上運行這個應用程序。PaaS 借助無需配置和擴展 Hadoop 的元素來實現降低管理的工作量，并作為先進分析應用程序的開發平臺。

(3)云端基礎設施服務(IaaS)

IaaS 在共享資源服務器中能分配或拖延時間，這往往是虛擬化，處理的運算和儲存需求的大數據分析。

圖6 服務模式

三個主要的云架構模型已經隨著時間的推移而發展; 私有、公共和混合云(圖 7)。它們都共享資源商品化的想法，并為此常常虛擬化的計算和抽象的儲存層。

(4)私有云

私有云是專用于一個組織，不共享物理資源。此資源可由公司內部或外部提供。私有云配置的典型要求是安全性，嚴格區分企業的數據儲存和處理是否被無意或是惡意進入共享資源。

(5)公共云

公共云的數據傳輸、儲存和處理共享實體資源。然而，客戶有隱私的可見運算環境和獨立儲存。安全方面的問題，采用一些私有云或自定義的配置，對絕大多數的客戶和項目不相關。

圖7 私有和公共云端運算之間的區別

(6)混合云

混合云架構合并私有和公共云的配置。通常是為了實施安全性和彈性，或提供更便宜的基本負載和脈沖能力。

云端運算模式提高 IT 的靈敏性，就能節省很多成本。此外，云端運算是一個自由的大數據 - 任何企業都能在規模龐大的數據里與非結構化數據一起運作。云端運算和云端數據儲存的興起，對于大數據的出現而言，將成為一個前兆和推動者。云端運算借助標準化技術方法，來計算時間和數據儲存，并商品化。它比傳統的物理配置有更顯著的優勢。然而，云端平臺有好幾種形式，有時不得不與傳統架構一起整合。云端運算運用可視化在同一臺實體機器上，來運算資源來以運行許多標準化的虛擬服務器。云端提供者允許低價格和根據短的時間間隔來計費，以實現這一經濟規模效益。這種標準化使得計算需求，具有彈性和高可用性的選項。

借助增加附加的實例與服務他們每個人一部份的需求，來垂直擴展以實現彈性。像 Hadoop 的軟件是專門為分布式系統來利用垂直擴展，他們在大平行規模里處理小的獨立任務。分布式系統也可以作為數據儲存，例如 NoSQL 數據庫，或文件系統像是 Hadoop 的 HDFS。透過與復雜工作流程的機器集群，可用風暴在接近實時之下提供協調數據流的處理來替代。典型的云端大數據項目的數據處理重點放在縮放或采用 Hadoop。像 Hive 和 Pig 這兩個工具已經在 Hadoop 之上，這使得它可行輕松地處理龐大的數據。

三、HADOOP

Hadoop 是一個強大的開放架構，它幾乎是由整個大數據堆中許多不同的技術所組成，借著利用正在使用的幾個組織，并透過物聯網(IoT)來收集分析和處理數據。對于物聯網(IoT)收集非結構化數據，這僅僅成功了一半，另一半處理批量，是使用 Hadoop 分析數據。物聯網的成功或失敗取決于大數據，隨著企業步入物聯網的世界里，物聯網與大數據之間的共生關系被廣泛利用在盈利的業務決策上。物聯網大部分是關于數據而不是設備中的數據。大數據和物聯網就像是戰略合作伙伴，因為它們不只是從物聯網收集數據，還必須進行處理和分析，以爭取改善業務營運。因數據的特性，物聯網設備適合用于采用分析大數據的方法。物聯網(IoT)的基礎設施已經達到了成熟的水平：

• 無所不在 - 現在傳感器已經很便宜，并可被包含在任何系統內。
• 向外擴展集中計算-Hadoop 可被用于分析、處理和儲存所有 IoT 所產生的數據，并具有成本效益的可擴展分布式計算系統。

Hadoop 運用企業級儲存處理層，可儲存接近一兆的文件。各種相關性可以在不同類型的非結構化數據之間，借助利用 Hadoop 和物聯網，從而為企業的競爭優勢提升到另一個層級。下圖所示的相互作用物聯網(IoT)，說明數據儲存和大數據分析引擎之間是如何發生的，如圖 8。

 

 

 

圖8 物聯網三要素之間的相互作用

 

四、物聯網的應用和大數據 HADOOP

1. 迪斯尼世界獨有的流行魔術手環

迪斯尼世界獨有的魔術手環，是物聯網如何利用大數據的***范例之一。魔術手環是一種可穿戴式的手環，游客可以戴在手腕上，從辦理報到手續到他們的房間開始、購買食物、進入主題公園的旋轉門。迪斯尼收集有關游客在主題公園內活動的非結構化數據，以將其用于分析，幫助他們 - 工作人員的吸引力和游樂設施的有效性，調節餐廳在尖峰時段的存貨，容納更多的客人進入飯店。

2. 受到大眾喜愛的珠寶店 Alex and Ani

Alex and Ani 這兩家受到大眾喜愛的珠寶店，它們在店內使用 Beacon 的技術來追蹤商店內的游客數量和發送特定的折扣券，使顧客一進入到商店中就能發送給他們。

3. Beacon 技術在麥當勞食品供應鏈

麥當勞是用 Beacon 技術透過顧客的手機應用程序，知道誰在麥當勞餐廳附近，以提供優惠券給客戶。顧客收到有個人化種類的訊息，并使用手機應用程序找出最有關聯的交易。

4. UPS(聯合包裹服務公司)

UPS 是美國***的運輸公司，他們正在利用傳感器數據進行大數據分析，以提高辦事效率來節省資金，并減少對環境的影響。UPS 在送貨車輛上安裝傳感器來追蹤油量行駛里程數，停止和加速的發動機狀況。這些物聯網傳感器從每個車隊的每一臺車輛采集近 200 個數據點，每一天將近 80,000 個。UPS 已成功地減少有害排放燃料的消耗和減少車輛的空閑時間。

五、運用大數據的案例

現在的大數據技術提供了各種不同的能力。它已經用來創造新產品、預測行為和趨勢，并優化銷售活動。大數據正在改變各種行業的經營方式，它能提供量身打造的醫療保健，使得我們的城市更智慧、更安全。本節的其余部分將討論，大數據被用于一些特定的情況。

1. 利用大數據來預測犯罪地點

預測未來犯罪是現在現實的一部分。其中一個例子是洛杉磯警察局(LAPD)在近期利用大數據來預測犯罪地點，因此降低整個大都市區的犯罪，在使用預測軟件的區域作出了以下貢獻，降低 33%的室內偷竊、21%的暴力犯罪和 12%財產犯罪。當地震發生的時候，在附近會有很高的機率出現余震。這個數學模型，是由一位助理教授喬治莫赫所開發的，它可以用來定義和預測新余震圖案。

犯罪數據顯示類似的模式(見圖 9)。這些數據有助于洛杉磯警察局 LAPD了解犯罪的性質。它表示當犯罪發生在一個地方的時候，就會有更多的犯罪出現在附近，這些犯罪活動的模式，就類似余震模式。當他們把之前的犯罪代入方程式，就會產生在過去預測里發生了什么事。而現在該部門可以透過運算來分析識別犯罪模式，這系統的分析，讓暴力犯罪在洛杉磯連續遞減。

就像遵循一個地震余震，附近的盜竊也跟著快速重復發生(從洛杉磯 2004/5 的數據)

圖9 犯罪余震

2. 以大數據作為醫療保健創新的源泉

大數據的發布可能會激發很多公司開發醫療保健應用程序，或類似的創新。以下是大數據革命創造有關醫療創新的一些例子：

(1) MHealthCoach 支持慢性病照護的病人、提供教育，并透過一個互動系統來治療。這個應用程序利用醫療保健的成本和項目的數據，這是由衛生保健研究與質量的機構所贊助的，以及來自臨床試驗的結果和警告。MHealthCoach 也可被供應者用來識別高風險患者，和提供重要的消息并提醒他們(圖 10)。

圖10 Mhealthcoach 

(2) Asthmapolis 創造了一個可使用 GPS 追蹤器的東西，它借助哮喘來監測吸入器的使用情況，并在 Google Play 商店和 App Store 推出了名為Propeller Health 的應用程序(見圖 11)。這個 Propeller 傳感器會持續追蹤患者藥物的使用，并隨著時間和地點來記錄，定位病人使用的吸入器。也可同時用于救援和控制藥物癥狀追蹤。這些訊息會被放到中央數據庫，并用于識別個人、團體，并基于人口的趨勢，合并哮喘催化劑 CDC訊息(例如，在東北花粉計數和火山霧在夏威夷的影響)，以幫助醫生制定個別化的治療方案，并預防突發的狀況。該 Propeller 無線傳感器與患者的智能手機，會使用內置藍牙的技術與手機同步。為 iOS(如iPhone 和 iPod Touch)和 Android 設備的 Propeller 手機應用程序可以讓病人來查看數據，給他們個人化的回饋和教育的方法，來改善他們的哮喘控制或慢性阻塞性肺病。

圖11 Propeller 應用

Ginger.io 提供了一個手機應用程序，即患者(如糖尿病患者)同意，與他們的供貨商合作，透過他們的手機進行追蹤和協助應用程序記錄呼叫訊息、簡訊、位置，甚至是移動的訊息(圖 12)。患者也響應了智能手機的調查。Ginger.io應用程序整合了從美國國立衛生研究院取得的公共研究，和其他健康數據訊息。獲得可揭示的見解;例如，缺乏運動或其他活動，可能預示著患者感覺身體不適，和不規則的睡眠模式可能預示著焦慮發作迫在眉梢。

圖12 Ginger i.o 的應用 

六、大數據為企業和消費者帶來的好處

大數據為企業和客戶創造價值，這些好處可以在廣泛的領域中感受到，不論是大型或小型公司。在大型公司中，有投資大數據技術的幾個驅動因素; 分析業務和交易數據，能夠收集深入了解網絡上顧客的行為，并采用先進的分析來發現，其中 BTO 模式的制造商可以用影響最小的現有生產計劃到調度機、工作人員來銷售。大數據正由制造商提高保修管理和設備監控，以及優化他們的產品投入市場的物流。零售商正在利用各種各樣的客戶互動，在線和線下，以提供更有針對性的建議和***定價。科技公司正在利用大數據來分析數以百萬計的數據，以提供更可靠，更準確的語音接口。銀行使用大數據技術來提高欺詐檢測。

對于顧客而言，大數據創造的產品和服務，影響他們的日常生活。使網絡安全專家透過利用大量的網絡和應用數據，并用它來識別異常情況和威脅，以保護信用卡系統。近 29%的美國人誰是“無銀行賬戶”或“已經開戶”有資格獲得信貸額度的使用范圍更廣，如支付租金、水電費、移動電話用戶、保險、兒童保健和學費。

當企業采用大數據作為其商業戰略的一部分，***個問題通常大數據會啟動什么樣的價值? 有助于高層或低層，或者會有一個非金融類驅動? 從一個價值點來看，對大數據分析應用程序可分為三個維度(見圖 13)之一。

***項也就是最明顯的是營運效率。在這種情況下，數據是被用在做出更好的決策，以優化資源消耗，并提高過程的質量和性能，這是自動數據處理一直在提供的，不過也有一個增強的功能集。第二個維度是客戶體驗; 典型的目標是提高顧客的忠誠度，進行精確的顧客細分，優化客戶服務。包括公共互聯網龐大的數據資源，大數據推動 CRM 技術的下一個發展階段，這也使新的商業模式，從現有產品的補充收入來源，并創建全新的(數據)產品的額外收入。

圖13 價值維度的大數據用例