更多新特性,HPE Vertica8.0榮耀問世!
從零售業、銀行業,到通信業、制造業,甚至公共部門,HPE Vertica憑借對數據的強大存儲和處理能力,已經充分滿足了各行各業的獨特需求。作為為大數據量身打造的實時分析平臺,它不僅創造了更快的分析速度,連接了更多的數據源,同時也加快了更多企業的業務轉型。
不過,HPE Vertica的持續創新之路并不止于此。Vertica8.0現已榮耀問世,一起來看看它到底增添了哪些新特性,又將如何助力你我未來的新征程!
1.數據管理
在表級數據加載策略上,它可以不修改ETL和BI工具的數據處理腳本,就能夠設置特定表的缺省加載策略;同時,它還能夠從備份恢復數據、數據處理等場景,快速復制、交換全表數據。除此之外,多節點并行加載單個共享大文件,充分利用所有或部分節點并行加載單個共享大文件,大幅提升大文件加載性能。
值得一提的是,處理半結構化數據Flex Table以前只支持copy語句裝載數據,現在可以支持Insert語句,新的[]操作符號能夠簡化訪問分層的VMap數據。在大數據計算的日益復雜背景下,機器學習也在深入發展,得益于更好的并行計算和擴展能力,Vertica機器學習算法快于Spark,不再需要逼數據搬家。
2.與Hadoop、Kafka和Spark集成
Vertica內置新的支持hdfs原生協議的libhdfs++包,替代原來基于webhdfs的HDFS Connector,libhdfs++更穩定性能更好,并且Parquet格式Reader性能大幅提升;ORC和Parquet支持Hive風格的分區列。
Kafka連接器增強,Scheduler微批量任務定義支持同一個表的數據來自多個kafka集群、多個topic;監控視圖stream_microbatch_history增加了更明確的微批結束原因;MC增加專門的微批量加載監控頁面;升級了rdkafka開源庫,解決了rdkafka在特定場景下釋放句柄時被夯住的問題。
Spark高效地從Vertica獲取數據、探索模型,通過謂詞下推和無關列數據裁剪,高效地準備訓練和測試模型的數據。Spark也可以把數據加載到Vertica進行高級分析。另外,Spark可以作為ETL工具替代MapReduce,Spark streaming可以作為流式計算引擎,結果可以快速并行存儲到Vertica中,進行高級SQL分析。
3.性能提升
HPE Vertica8.0優化Catalog大小和鎖爭搶,以及新的glibc,提升并發查詢性能以及寬表加載執行計劃階段的性能。節點復原(Recovery)性能也有所提升。
Vertica8.0的節點故障后查詢性能提升近1倍。優化器在節點故障發生時,Vertica8.0會把分布方式、排序和編碼一致的buddy projection同等看來,同時進行并行掃描和應用所有優化策略,使得大部分查詢的性能與正常時相近,從而避免延遲物化等某些優化策略的無法應用。
4.監控管理
Vertica8.0的管理控制臺也增添了新特性,其擴展的集中系統監控,能夠整合歷史消息、事件和監控統計信息,全面了解數據庫的運行狀態;新增加Kafka活動監控功能,可以監控微批量加載的性能和健康狀況;在云環境方面,管理控制臺MC已經是AMI的一部分。
Vertica8.0還自定義Email告警閥值,能夠通過Email、管理控制臺消息中心、以及RESTful API 通知告警。
5.Vertica的持續創新之路
HPE Vertica以其卓越的性能、久經驗證的市場實踐,已經贏得了包括Amazon cloud在內的云分析平臺以及Windows Azure的支持。更多的主流云平臺認證,還在路上。相信Vertica8.0的問世,將為客戶帶來更多超乎想象的收益。