6月23日，亞馬遜云科技聯(lián)合51CTO共同推出的這是我的架構(gòu)——直播周系列節(jié)目第二季第四集精彩繼續(xù)。本集邀請到的是亞馬遜云科技資深解決方案架構(gòu)師肖紅亮、FreeWheel Presto團隊高級研發(fā)工程師張宇欣和FreeWheel監(jiān)控系統(tǒng)平臺負責人王磊。如今“大數(shù)據(jù)”一詞已耳熟能詳，Graviton怎樣為FreeWheel大數(shù)據(jù)應(yīng)用場景賦能創(chuàng)新增長點，實現(xiàn)降本增效？一起回顧直播：

海量數(shù)據(jù)高速處理，如何兼顧性價比？

FreeWheel是一家以先進視頻廣告技術(shù)和優(yōu)質(zhì)視頻內(nèi)容服務(wù)全球的綜合廣告服務(wù)供應(yīng)商。其服務(wù)的媒體包括Comcast、NBCU和SKY等媒體巨頭，還曾多次成功支持奧運會、世界杯和超級碗等大型活動的廣告投放任務(wù)。FreeWheel的投放受眾眾多，還需要對每次的廣告投放進行數(shù)據(jù)分析，王磊表示，“FreeWheel的數(shù)據(jù)采集周期要求非常高，我們的默認采集周期是在10秒級別，一些關(guān)鍵數(shù)據(jù)的甚至需要1秒級采集”。

面對高并發(fā)、大數(shù)據(jù)量和業(yè)務(wù)復雜的業(yè)務(wù)特征，F(xiàn)reeWheel如何削減成本和性能壓力？亞馬遜云科技給出了基于Graviton 2實例的全套解決方案。肖紅亮介紹道，借助Graviton 2的強大賦能，F(xiàn)reeWheel的數(shù)據(jù)服務(wù)API獲得了相較于部署在x86架構(gòu)之上高40%的QPS，網(wǎng)絡(luò)代理集群的吞吐量提升20%，而任務(wù)運行所需的實例數(shù)量減少了23%，直接降低了FreeWheel的運行成本。

全流程監(jiān)控，Graviton安心護航

如何利用Graviton 2進行應(yīng)用實踐？王磊為我們帶來的是FreeWheel監(jiān)控平臺的分享。FreeWheel監(jiān)控平臺主要服務(wù)于廣告投放系統(tǒng)的實時監(jiān)控和報警，擁有PB級別的Metric、Log、Trace三位一體的監(jiān)控數(shù)據(jù)處理能力，覆蓋從基礎(chǔ)硬件、系統(tǒng)到應(yīng)用的端到端業(yè)務(wù)，進行警報數(shù)據(jù)的分析和挖掘。接下來王磊介紹了FreeWheel監(jiān)控平臺的架構(gòu)[肖1]? ，此平臺采用業(yè)界流行的Prometheus體系收集數(shù)據(jù)，寫入Cortex遠程存儲系統(tǒng)，將數(shù)據(jù)上傳到Amazon S3，同時這些數(shù)據(jù)也會被Grafana和FreeWheel自研的Alert系統(tǒng)消費[ZY2] 用作展示和報警。王磊提到，目前監(jiān)控平臺的全套服務(wù)都部署在AmazonEKS托管服務(wù)上，能夠有效降低運維成本。

FreeWheel在了解到Graviton2的第一時間就在監(jiān)控平臺進行了應(yīng)用嘗試，經(jīng)過測試，在Graviton 2加持下，Cortex系統(tǒng)的成本消耗直接下降了20%。王磊坦言，正是這一測試結(jié)果堅定了FreeWheel將監(jiān)控平臺的全線服務(wù)遷移到Graviton實例之上，Prometheus場景下ARM架構(gòu)帶來的20%性能提升也證明Graviton并未辜負FreeWheel的期待。目前FreeWheel使用亞馬遜云科技基于Graviton 2的多種實例，如內(nèi)存密集型負載、通用負載和計算密集型負載，為監(jiān)控平臺降本增效，有效激活效能。王磊表示，F(xiàn)reeWheel樂于嘗試亞馬遜云科技的創(chuàng)新技術(shù)，希望達到Graviton更大的使用規(guī)模。

Graviton性能如何？實踐出真知

除了監(jiān)控平臺場景，張宇欣還為我們分享了Graviton 2實例在Presto集群的應(yīng)用實踐。Presto是一個分布式的SQL查詢引擎，它被設(shè)計用于查詢分布在一個或者多個異構(gòu)的數(shù)據(jù)源上的大規(guī)模數(shù)據(jù)集。目前FreeWheel擁有15套常駐Presto集群和100多套備用集群，每日在線的平均節(jié)點數(shù)約280個，高峰期可能達到近千個，每日查詢跨域數(shù)約6萬條，數(shù)據(jù)掃描量高達每天1.1Pb。針對計算密集型的要求，F(xiàn)reeWheel選擇了亞馬遜云科技的Graviton計算優(yōu)化實例，將全部Presto集群部署在Amazon EC2上。將Presto集群遷移至Graviton實例前，F(xiàn)reeWheel也充滿疑問，Graviton 2能否為Presto集群提供優(yōu)越性能和高性價比？張宇欣的答案是肯定的，并分享了一系列測試結(jié)果。單臺機器的運行中，通過c6g.8xlarge和Correto11的完美配合，機器價格節(jié)約了28.8%；在集群CPU資源相同的情況下，Graviton 2帶來了9%的性能提高，成本縮減20%；準生產(chǎn)環(huán)境下也得到了同樣的優(yōu)質(zhì)結(jié)果。目前FreeWheel已經(jīng)完成了準生產(chǎn)環(huán)境下的100%遷移，不止如此，張宇欣提到，Graviton已被大規(guī)模運用于FreeWheel的其他系統(tǒng)中，如廣告預(yù)測平臺、用戶畫像處理等。未來FreeWheel將開展Graviton在ETL處理平臺運用效果的測試，最后張宇欣也表達了對Graviton的信心，未來將繼續(xù)發(fā)揮Graviton的性價比優(yōu)勢，針對性優(yōu)化應(yīng)用及背后的運行時容器，力求更多突破性的賦能增長。

這是我的架構(gòu)——直播周系列節(jié)目第二季第四集取得圓滿成功。Graviton的強大性能為大數(shù)據(jù)領(lǐng)域提供了有力支撐，亞馬遜云科技也將不斷創(chuàng)新重構(gòu)，為企業(yè)降本增效貢獻科技力量。