利用DataStream和TrafficPeak實現大數據可觀察性
可觀察性工作流對于深入了解應用程序的健康狀況、客戶流量和整體性能至關重要。然而,要實現真正的可觀察性還面臨一些挑戰,包括海量的流量數據、數據保留、實施時間以及各項成本等。
延伸閱讀,點擊鏈接了解 Akamai Cloud Computing
TrafficPeak是一款為Akamai云平臺打造,簡單易用、可快速部署的可觀察性解決方案。TrafficPeak與DataStream配合使用,能以比其他可觀察性平臺最多降低75%的成本攝取、索引、壓縮、存儲和搜索大流量實時日志數據。TrafficPeak為客戶提供了Grafana登錄和自定義儀表盤,客戶可以在其中對數據進行可視化和搜索并設置警報。
本文將概括介紹TrafficPeak可觀察性解決方案,以及為高流量分發平臺構建的,經過測試和驗證的可觀察性架構。該解決方案結合了Akamai基于邊緣的DataStream日志流服務、SIEM集成,以及建立在Linode云基礎架構上的TrafficPeak,從而能為大規模流量、日志和數據保留提供支持。
Akamai云平臺上的TrafficPeak
· TrafficPeak是什么?
TrafficPeak是一個完全托管的可觀察性解決方案,能與DataStream日志流和Akamai Cloud Computing配合使用。TrafficPeak由Akamai管理和托管,使用Linode Compute Instances和Linode Object Storage處理和存儲數據。在TrafficPeak的幫助下,客戶可以訪問Grafana界面,該界面帶有預配置、可定制的儀表板,提供了數據可視化和監控功能。
· TrafficPeak適合哪些人?
TrafficPeak適合需要為PB級大數據提供經濟高效的一體化“交鑰匙”式可觀察性解決方案的Akamai客戶。
應對不同挑戰
·降低成本,提高可見性
在實現標準的數據可視化能力同時,將可觀察性成本最多降低75%。
其他可觀察性解決方案通常是為特定應用的可觀察性構建的,而TrafficPeak是為實現支持超大數據量的CDN級可觀察性構建的。TrafficPeak旨在與DataStream合作,從邊緣攝取日志,并使用對象存儲和計算實例來實現高效、解耦、無狀態的架構。通過將流量和CDN日志保存在同一平臺上,TrafficPeak能將可觀察性成本最多降低75%。
有了大量數據,數據報告的標準化就變得更重要。TrafficPeak的Grafana儀表板支持大量用戶訪問,提供了集中的數據源。這有助于簡化組織運營,并讓使用數據的開發者能夠從同一個地方獲取數據。
·海量數據和數據保留
在與邊緣交付相同的平臺上采用可觀察性解決方案,解決數據量和數據保留難題。
與海量數據相關的成本和基礎設施挑戰不勝枚舉,例如:數據采集、數據存儲和保留、數據搜索和效率等。由于TrafficPeak是專為Akamai打造的,因此用戶可將邊緣和可觀察性解決方案整合到一個平臺,從而應對這些挑戰。
有了TrafficPeak,日志可使用DataStream從Akamai邊緣直接發送到Linode計算平臺,無需在Akamai平臺之外傳輸數據流量。TrafficPeak通過同時使用計算實例和對象存儲,將日志的處理與存儲分離,使用高達25倍的數據壓縮,并提供15個月以上的可搜索、可訪問的熱數據保留。
·復雜數據類型
通過可視化監控和數據報告實現復雜數據類型的可觀察性。
復雜數據(如媒體交付和游戲數據)可能面臨更多挑戰:對延遲極端敏感、高數據量、受眾洞察力、特定應用程序的數據類型、數據合規性和安全性等。通過TrafficPeak的可視化監控和數據報告,用戶可以跟蹤受眾規模、唯一收視率、SIEM數據,以及其他特定受眾數據。TrafficPeak還受到Akamai的監控(因此無需擔心擴展問題),提供了可配置的警報,并且在使用Akamai Adaptive Media Delivery時還能支持CMCD。
·實施
能支持海量數據的可觀察性解決方案,其實施往往既費時又費錢。TrafficPeak為Akamai客戶提供了開箱即用的解決方案,并且可與現有應用基礎架構配合使用,從而解決了這一問題。
TrafficPeak工作流程示意
以下是一個大流量分發平臺客戶在Akamai云上實施的DataStream和TrafficPeak架構高級示意圖和流程。
- 客戶端發出資產請求、API調用請求或其他HTTPs請求。該請求會被路由到最近的Akamai邊緣區域。
- 如果請求存在緩存響應,則由Akamai邊緣服務器直接返回;否則該請求將回源以獲得響應。
- 生成此過程的分發/安全日志,并將其發送至Akamai云基礎設施上的TrafficPeak(用于日志處理的Linode計算實例和用于日志存儲的Linode對象存儲)。
- TrafficPeak收集信息,提供更長的數據保留期(+15個月),從而用于歷史數據趨勢和報告,并提高整體可見性。
- 可支持數百用戶的Grafana儀表盤為DataStream和SIEM功能提供了統一視圖。
系統和組件
- DataStream:Akamai的邊緣原生日志流服務。
- TrafficPeak:Akamai在Akamai Cloud Computing平臺上運行的托管式可觀察性解決方案。由計算實例、對象存儲和Grafana儀表板組成。
- 邊緣服務器:接收、處理和服務客戶端請求的邊緣基礎設施。在此工作流中,邊緣服務器活動會被記錄并發送到TrafficPeak以供觀察。
- 數據分析:Grafana儀表盤;基于網絡的分析和可視化平臺,預配置了用于監控TrafficPeak日志活動的功能。已配置并可供TrafficPeak客戶訪問。
- 虛擬機:用于運行TrafficPeak日志采集和處理軟件的計算實例。由Akamai托管。
- Object Storage:兼容S3的對象存儲,用于存儲來自TrafficPeak的日志數據。由Akamai托管。
總結
通過上述系統,即可在Akamai云平臺上獲得簡單易用、功能強大、成本低廉的全托管式可觀察性解決方案。其成本能比其他同類平臺最多降低75%!
如您所在的企業也在考慮采購云服務或進行云遷移,
點擊鏈接了解Akamai Linode的解決方案