[[378256]]

【51CTO.com快譯】如今，人們生活和工作在越來越以數據為中心的業務環境中，而數據推動著科技領域的重大變革。從在工業環境中部署物聯網設備到遵循歐盟的GDPR法規，“大數據”如今成為了各行業組織的數字化轉型項目的核心。

大數據對于各種規模的組織來說都是一個重大挑戰。而組織需要采用大數據技術挖掘潛力、平滑流程、提高效率，以及為最終用戶提供服務。

人們使用“大數據”這一術語來指代位于其業務核心的大量信息。這些數據太大、太復雜且難以使用傳統方法處理，因此希望利用大數據技術的組織必須使用更強大的分析工具。采用這些工具將確保組織能夠處理和存儲基于數據收集的數據，并實時生成結果。

大數據項目的關鍵要素包括數據存儲、數據挖掘、數據分析和數據可視化，并且每一種關鍵要素都為組織提供了各種創新技術和高科技工具。

1.數據存儲

以云計算為中心的存儲工具是確保組織能夠存儲更多數據的關鍵，它提供了多種選項，能夠讓組織以安全且可訪問的方式保存數據。

• Hadoop

這是一個開放源代碼平臺，通常通過集群存儲大量數據集。Hadoop同時支持結構化和非結構化數據以及可擴展性，因此對于那些可能需要在短時間內需要額外容量的組織來說，這是一個不錯的選擇。該平臺還可以無延遲地處理大量任務。總體而言，對于需要開發人員資源的組織來說，采用Java是一個不錯的選擇。

• MongoDB

對于結合使用半結構化數據和非結構化數據的組織來說，MongoDB非常有用。例如，開發移動應用程序的組織可能需要存儲與產品目錄相關的數據，或者用于實時存儲個性化的數據。

• RainStor

Rainstor不僅可以簡單地存儲大數據，還可以對數據進行壓縮和重復數據刪除，其壓縮比例甚至高達40：1。在壓縮過程中不會丟失任何數據集，因此，如果組織要利用存儲節省的優勢，這是一個很不錯的選擇。Rainstor在Hadoop中是本地可用的，它使用SQL來管理數據。

2.數據挖掘

在數據存儲之后，組織需要投資購買工具以幫助其找到要分析或可視化的信息。其中最重要的三個工具將幫助組織提取所需的數據，而無需人工處理所有數據(如果處理數千條或更多記錄，對于人類來說無論如何都無法完成這項任務)。

• SPSS Modeler

IBM公司推出的SPSS Modeler可用于通過其可視界面而不是通過編程來構建預測模型。它涵蓋了文本分析、實體分析、決策管理和優化，并允許在整個數據集中挖掘結構化和非結構化數據。

• KNIME

KNIME是一個可擴展的開源解決方案，具有1,000多個模塊，可幫助數據科學家挖掘新見解，進行預測并從數據中發現關鍵點。文本文件、數據庫、文檔、圖像、網絡，甚至是基于Hadoop的數據都可以讀取，因此，如果數據類型混合在一起就是一個完美的解決方案。它具有廣泛的算法和社區貢獻，可提供全套的數據挖掘和分析工具。

• RapidMiner

RapidMiner是一種開源數據挖掘工具，它使客戶可以使用模板而不用編寫代碼。對于沒有特定資源的組織或正在尋找挖掘數據工具的組織，這使其成為一種有吸引力的選擇。還提供了一個免費版本，盡管它僅限于1個邏輯處理器和10,000個數據行。該工具還提供了用于機器學習、文本挖掘、預測分析、業務分析的環境，以幫助整個過程。

3.數據分析

組織如何得到需要的數據?現在是尋求強大的工具對數據進行分析的時候了，以收集對組織的業務、客戶或整個世界的關鍵見解。以下是一些主流的數據分析工具。

• Apache Spark

Apache Spark也許是最著名的大數據分析工具之一，它將大數據放在一切工作的最前沿。它是開源的、有效的，可以與所有主要的大數據語言一起使用，包括Java、Scala、Python、R和SQL。它也是應用最廣泛的數據分析工具之一，適用于各種規模的公司，從小型公司到公共部門以及蘋果、Facebook、IBM和微軟等科技巨頭。

Apache Spark使數據分析更進一步，允許開發人員在一個地方使用大規模SQL、批處理、流處理和機器學習，以及圖形處理。它也非常靈活，在Hadoop(最初是為Hadoop開發的)、Apache Meso、Kubernetes上運行，并單獨作為獨立的平臺或者在云中運行，使它適合各種規模和所有行業的企業。

• Presto

與Apache Spark一樣，Presto是一個開源工具，可以使用分布式SQL查詢，設計用于對數據運行查詢，并作為一個強大的交互式分析引擎。它支持兩種非關系型數據源，如Hadoop分布式文件系統(HDFS)、Amazon S3、Cassandra、MongoDB和HBase，以及關系型數據源，如MySQL、PostgreSQL、Amazon Redshift、Microsoft SQL Server和Teradata，使其成為操作這兩種數據庫的企業的有用工具。

它也被Facebook等大公司使用。事實上，社交網絡是其發展的主要貢獻者，而Netflix、Airbnb和Groupon也參與了其發展，使其成為全球最強大的數據分析工具之一。

• SAP HANA

數據分析只是SAP HANA平臺的一個方面，但它的功能非常出色。SAP HANA支持來自同一地點的文本、空間、圖形和系列數據，并與Hadoop、R和SAS集成，以幫助組織根據寶貴的數據見解快速做出決策。

• Tableau

Tableau結合了數據分析和可視化工具，可以通過服務器或在線使用。其在線版本非常注重協作，這意味著員工可以輕松地與組織中的其他人分享其發現。交互式可視化使每個人都能輕松理解信息，并且通過Tableau Cloud的完全托管選項，并且不需要任何資源來配置服務器、管理軟件升級或擴展硬件容量。

• Splunk Hunk

Splunk Hunk是一個裝備齊全的數據分析工具，可以生成圖表和數據的可視化表示，所有這些都可以通過一個儀表板進行管理。可以通過Splunk Hunk的界面查詢原始數據，而圖形、圖表和儀表盤可以通過其界面快速創建和共享。它也適用于其他數據庫和商店，其中包括Amazon EMR、Cloudera CDH和Hotronworks數據平臺等。

4.數據可視化

并非每個人都擅長從數據點列表中獲取關鍵見解或理解其含義。展現數據的最佳方式是將其轉化為數據可視化，以便每個人都能理解它的含義。以下是一些頂級數據可視化工具：

• Plotly

Plotly支持從使用JavaScript、Python、R、Matlab、Jupyter或Excel分析的數據創建圖表、演示文稿和儀表板。其強大的可視化庫和在線圖表創建工具使它非常簡單，可以使用高效的導入和分析GUI創建美觀的圖形。

• DataHero

DataHero是一個簡單易用的可視化工具，它可以從各種云計算服務中提取數據，并將數據注入圖表和儀表板中，使組織更容易理解見解。由于不需要編程，因此適合沒有雇傭數據科學家的組織使用。

• QlikView

通過提供的一套功能，QlikView允許其用戶使用自助服務工具從各種數據源創建數據可視化，而無需建立復雜的數據模型。組織可以在自己的分析平臺上運行QlikView，提供直觀的可視化功能，其平臺可以與其他人共享，因此根據數據顯示的趨勢做出的決策可以是協作的。

更高級的功能允許將QilkView的可視化分析嵌入到應用程序中，而儀表板可以引導使用者生成分析報告，而不需要他們了解數據科學知識。

原文標題：The best big data technologies，作者: Clare Hopping

【51CTO譯稿，合作站點轉載請注明原文譯者和出處為51CTO.com】