面對大數據挑戰而擴展其傳統基礎設施的企業應考慮使用專門構建的軟件產品和服務來構建大數據堆棧架構。

大數據堆棧是一套互補的軟件技術，用于管理和分析對于傳統技術來說太大或太復雜的數據集。大數據堆棧技術——最常用于分析——是專門為應對數據大小、速度和種類的增長而設計的。大數據產品和服務通常用于管理數據管道中的數據，以提供及時高效的業務洞察。

企業可以考慮幾個流行的大數據堆棧，每個堆棧都有一套技術和開源替代方案，無論他們是選擇套裝堆棧還是構建自己的堆棧，大數據堆棧都已成為現代數據架構的主要組成部分。

大數據面臨的挑戰

大數據通常被描述為規模和復雜性，這帶來了獨特的挑戰，稱為三個V：

• 數據量-人和機器生成的數據量，通常，機器生成的數據(例如傳感器數據)量遠遠大于人類生成的交易數據，海量的靜態和動態數據給企業帶來了挑戰。
• 速度-數據的速率，機器生成的數據通常比人類生成的數據產生的頻率更高，挑戰在于企業收集和處理數據的巨大速度，尤其是在實時流架構中。
• 多種多樣-數據的多樣性，數據采用的三種主要形式包括結構化、半結構化和非結構化。各種各樣的結構不同的數據——通常需要不同的方法——帶來了新的挑戰。

傳統軟件技術無法處理的三種情況中的任何一種都被認為是大數據。

大數據堆棧的架構層

要應對大數據的挑戰，企業必須將目光投向傳統數據處理基礎設施以外的領域，求助的一個領域是特殊用途的大數據軟件技術，當配合使用時，大數據技術可以克服大數據面臨的挑戰。

以下6層是成功的大數據堆棧架構的關鍵：

1、收集

大數據堆棧架構的第一步是數據收集。數據采集可以從各種內部和外部數據源進行推送或拉取。數據源的一些示例包括交易系統、物聯網設備、社交媒體和靜態日志文件。

大數據攝取軟件處理大型靜態數據集、小型實時數據集以及每個數據集的各種數據格式。大的數據集到達得很慢，小的數據集到達得很快。將模式和質量驗證推遲到管道中的更遠有助于更高的吞吐量。

2、儲存

一旦收集，原始數據通常以文件的形式存儲在數據湖中，該數據湖針對將數據輸入分析管道進行了優化。原生格式存儲庫既是批量數據的著陸區，也是時間敏感型探索性查詢的沙盒。

大數據存儲軟件存儲各種格式的大文件和小文件，通常采用對象存儲等分布式文件系統的形式。非瞬時數據可以在較長的保留期內持續存在，并且需要在數據的整個生命周期中使用自動分層的軟件。

3、處理

處理包括準備靜態的批量數據集和流動的動態數據以供分析。數據管理可以包括清理、整合、豐富、集成、過濾、聚合和以其他方式準備用于分析的數據。

大數據處理軟件運行在大批量數據上，延遲更高，計算更復雜，需要長時間運行的高效率計算。使用分布式處理軟件對較小的分區數據片段進行操作可以實現這一點。

大數據處理軟件也可以處理高速的流數據，延遲更低，計算相對簡單。流數據處理需要通過持續可用的流服務實現有保證的耐用性、訂購和交付。

通過軟件并行性、就地處理和讀取時架構實現批處理和流性能。關鍵的大數據堆棧策略包括將數據和處理劃分為同時執行的小單元，以及在分析存儲加載期間最大限度地減少模式驗證。

4、提煉

分析數據存儲處理或提煉數據以供分析。數據存儲的示例包括基于SQL的多維數據倉庫、NoSQL技術和具有抽象層的分布式數據存儲，該抽象層用于通過接口訪問各種數據類型。

大數據分析商店支持多種存儲方法和技術，稱為多語言持久性。專用單一模型數據庫通過優化數據存儲和處理特定數據類型來提供性能和可擴展性。基本策略包括數據處理、并行執行和數據分區。

5、分析

分析檢查分析數據存儲和原始存儲，處于交互環境中的人類用戶使用BI工具通過可視化獲得洞察力，先進的分析工具處理數據以提取情報，機器學習使用人工智能直接處理數據來自我學習。

大數據分析軟件處理從簡單的即席查詢到復雜的預測分析和機器學習操作的查詢。用戶范圍包括臨時分析師、數據科學家和機器。由于數據通常是分散的，就地分析是必不可少的，因此軟件應該通過數據交換矩陣的虛擬化向用戶呈現數據生態系統的統一視圖。

6、編排

大數據堆棧通常使用工作流技術來管理源數據收集、原始數據存儲和數據處理等數據操作，運營還包括將精煉數據移動到分析數據存儲，以及將洞察力直接推送到商業智能應用程序，如報告和儀表板。

大數據協調軟件可自動化數據管道，從而最大限度地減少延遲并縮短實現價值的時間。工作流軟件提供了易于使用的管理界面和架構組件之間的無縫集成。

選擇大數據堆棧

在選擇大數據技術或堆棧之前，企業應量化其當前和未來的數據挑戰，了解傳統軟件的局限性，并注意大數據行業趨勢。他們應該定期重新評估自己的評估，因為大數據和技術演變是不斷變化的目標。

重要的是要確保技術選擇是模塊化的和松散耦合的，以允許即插即用策略中的更改，而對其他堆棧軟件的影響最小或沒有影響。專注于專門為解決體系結構中的獨特挑戰而設計的軟件，而不是多用途軟件。

數據驅動型企業了解處理大數據是一項核心能力。專用大數據軟件可以應對規模性和復雜性的數據挑戰。與傳統數據軟件一起，大數據堆棧有助于管理數據并提供及時的業務洞察。