2019大數(shù)據(jù)處理必備的十大工具,從Linux到架構(gòu)師必修
大數(shù)據(jù)的日益增長,給企業(yè)管理大量的數(shù)據(jù)帶來了挑戰(zhàn)的同時也帶來了一些機遇。下面是用于信息化管理的大數(shù)據(jù)工具列表:
1.ApacheHive

Hive是一個建立在hadoop上的開源數(shù)據(jù)倉庫基礎(chǔ)設(shè)施,通過Hive可以很容易的進行數(shù)據(jù)的ETL,對數(shù)據(jù)進行結(jié)構(gòu)化處理,并對Hadoop上大數(shù)據(jù)文件進行查詢和處理等。Hive提供了一種簡單的類似SQL的查詢語言—HiveQL,這為熟悉SQL語言的用戶查詢數(shù)據(jù)提供了方便。
2JaspersoftBI套件

Jaspersoft包是一個通過數(shù)據(jù)庫列生成報表的開源軟件。許多企業(yè)已經(jīng)使用它來將SQL表轉(zhuǎn)化為pdf,這使每個人都可以在會議上對其進行審議。另外,JasperReports提供了一個連接配置單元來替代HBase。
3.1010data

1010data創(chuàng)立于2000年,是一個總部設(shè)在紐約的分析型云服務(wù),旨在為華爾街的客戶提供服務(wù),甚至包括NYSEEuronext、游戲和電信的客戶。它在設(shè)計上支持可伸縮性的大規(guī)模并行處理。它也有它自己的查詢語言,支持SQL函數(shù)和廣泛的查詢類型,包括圖和時間序列分析。這個私有云的方法減少了客戶在基礎(chǔ)設(shè)施管理和擴展方面的壓力。
4.Actian

Actian之前的名字叫做IngresCorp,它擁有超過一萬客戶而且正在擴增。它通過Vectorwise以及對ParAccel實現(xiàn)了擴展。這些發(fā)展分別導(dǎo)致了ActianVector和ActianMatrix的創(chuàng)建。它有Apache,Cloudera,Hortonworks以及其他發(fā)行版本可供選擇。
5.PentahoBusinessAnalytics

從某種意義上說,Pentaho與Jaspersoft相比起來,盡管Pentaho開始于報告生成引擎,但它目前通過簡化新來源中獲取信息的過程來支持大數(shù)據(jù)處理。Pentaho的工具可以連接到NoSQL數(shù)據(jù)庫,例如MongoDB和Cassandra。PeterWayner指出,PentahoData(一個更有趣的圖形編程界面工具)有很多內(nèi)置模塊,你可以把它們拖放到一個圖片上,然后將它們連接起來。
6.KarmasphereStudioandAnalyst

KarsmasphereStudio是一組構(gòu)建在Eclipse上的插件,它是一個更易于創(chuàng)建和運行Hadoop任務(wù)的專用IDE。在配置一個Hadoop工作時,Karmasphere工具將引導(dǎo)您完成每個步驟并顯示部分結(jié)果。當出現(xiàn)所有數(shù)據(jù)處于同一個Hadoop集群的情況時,KarmaspehereAnalyst旨在簡化篩選的過程。
7.Cloudera

Cloudera正在努力為開源Hadoop,提供支持,同時將數(shù)據(jù)處理框架延伸到一個全面的“企業(yè)數(shù)據(jù)中心”范疇,這個數(shù)據(jù)中心可以作為目標和管理企業(yè)所有數(shù)據(jù)的中心點。Hadoop可以作為目標數(shù)據(jù)倉庫,高效的數(shù)據(jù)平臺,或現(xiàn)有數(shù)據(jù)倉庫的ETL來源。企業(yè)規(guī)模可以用作集成Hadoop與傳統(tǒng)數(shù)據(jù)倉庫的基礎(chǔ)。Cloudera致力于成為數(shù)據(jù)管理的“重心”。
8.HPVerticaAnalyticsPlatformVersion7


HP提供了用于加載Hadoop軟件發(fā)行版所需的參考硬件配置,因為它本身并沒有自己的Hadoop版本。計算機行業(yè)將其大數(shù)據(jù)平臺架構(gòu)命名為HAVEn(意為Hadoop,Autonomy,Vertica,EnterpriseSecurityand“n”applications)。惠普在Vertica7版本中增加了一個“FlexZone”,允許用戶在定義數(shù)據(jù)庫方案以及相關(guān)分析、報告之前探索大型數(shù)據(jù)集中的數(shù)據(jù)。這個版本通過使用HCatalog作為元數(shù)據(jù)存儲,與Hadoop集成后為用戶提供了一種探索HDFS數(shù)據(jù)表格視圖的方法。
9.TalendOpenStudio

Talend’s工具用于協(xié)助進行數(shù)據(jù)質(zhì)量、數(shù)據(jù)集成和數(shù)據(jù)管理等方面工作。Talend是一個統(tǒng)一的平臺,它通過提供一個統(tǒng)一的,跨企業(yè)邊界生命周期管理的環(huán)境,使數(shù)據(jù)管理和應(yīng)用更簡單便捷。這種設(shè)計可以幫助企業(yè)構(gòu)建靈活、高性能的企業(yè)架構(gòu),在次架構(gòu)下,集成并啟用開源服務(wù)的分布式應(yīng)用程序變?yōu)榭赡堋?/p>
10.ApacheSpark

ApacheSpark是Hadoop開源生態(tài)系統(tǒng)的新成員。它提供了一個比Hive更快的查詢引擎,因為它依賴于自己的數(shù)據(jù)處理框架而不是依靠Hadoop的HDFS服務(wù)。同時,它還用于事件流處理、實時查詢和機器學(xué)習(xí)等方面。
