【51CTO.com原創稿件】數據已經成為企業寶貴的資產，如何利用數據的分析挖掘，從而輔助企業進行商業決策，成為企業所關注的。

8月24日，由云+社區（騰訊云官方開發者社區）聯合快手舉辦的《大數據技術實踐與應用》沙龍活動成功舉行，沙龍聚焦于大數據的技術實踐與應用，為到場的用戶奉上了一場大數據技術盛宴。來自騰訊云的專家和快手的工程師重點介紹了Spark、ElasticSearch，yarn、MapReduce、Flink等大數據技術的發展歷程、架構優化以及實踐應用。

[[275422]]

基于Spark構建PB級別云數據倉庫

首位分享的嘉賓是來自騰訊專家工程師丁曉坤，他從AI與大數據的關系，大數據技術的發展趨勢，以及基于Spark計算引擎構建云數倉的技術實踐三個方面展開進行分享。

2006年，Apache社區的Hadoop項目正式成立，作為三駕馬車的開源實踐，開啟了大數據時代；之后的2009年，AWS推出了EMR( Elastic MapReduce)彈性計算云平臺，開啟大數據的云計算時代；2012年隨著Yarn的孵化，2013年Spark項目正式成立，大數據進入加速發展階段；隨著2016年AlphaGo戰勝李世石，2018年Hadoop3.0的到來，AI和大數據關系越來越緊密，大數據也向云化和容器化方向加速進化。

那么AI和大數據具體是什么關系呢？丁曉坤解釋道，一、AI離不開數據，人工智能的計算特別是深度模型，與數據的相關性非常高，數據越好模型也會越準確。二、在標準的推薦場景中，有環形迭代的計算過程，從數據的抽取、準備，到模型訓練、數據模型發布，再到進一步抽取數據，在迭代過程中進行優化模型。

而基于以上這兩大關系，對AI和大數據兩大技術的融合提出新的需求。首先，數據在數據處理和AI訓練框架之間的交互效率要求越來越高，就會產生tf.data、tf.transform等數據結構，而騰訊推出的Angel和Intel推出的BigDL這些計算框架可以快速地將Spark計算框架與機器模型訓練框架結合的更好，TensorFlowOnSpark也可以快速提高環形迭代效率。其次，隨著AI的快速發展，大家對GPU的要求越來越高，通過優化GPU與CPU之間任務隊列的調度從而提高效率，而GPU的調度則可以通過K8s和Hadoop3.0的發展也越來越高效。

大數據的發展離不開數據倉庫體系。數據倉庫從1989年提出后經過了三個發展階段，第一個階段是數倉一體機時代，通過數據倉庫一體機企業可以進行報表分析、財務分析。隨后由于一體機在數據處理和性能上無法滿足企業需求，于是出現了分布式MPP數據庫，企業可以進行簡單的模型推測和預測計算。之后，企業更加關注IT成本，因此更多企業開始選擇云原生數據倉庫。

SPARKLING 架構圖

最后，丁曉坤分享了基于Spark計算引擎構建云數倉的技術實踐。為何騰訊云會選擇Spark來作為核心計算的支撐呢？丁曉坤歸納為四大原因，Spark生態豐富，支持場景比較全面，也是大數據領域比較熱門的開源項目；第二，Spark支持Python，SQL，R，Scala, Java 等語言提交計算任務，比較容易上手；第三，依托開源社區，盡可能使用開源項目，用戶可以熟知技術細節；第四，由于Spark擁有DAG模型、RDD內存計算和更細粒度的調度、鎢絲計劃等，使得性能更加優越。

在騰訊云構建數據倉庫時，也表現出一定的云特性。在彈性伸縮方面，可以支持三種類型的節點：主節點，核心計算節點和彈性計算節點，并且支持核心計算節點的橫向擴容，支持彈性計算節點的橫向擴縮容，這樣通過臨時的彈性計算節點達到存算的分離，彈性節點可以隨時擴縮容，快速回收計算資源從而降低成本。此外，通過平滑摘除機制，在所有的容器都執行完畢，或執行超時后移除，保證任務平滑穩定的運行。第二個云特性就是虛擬環境優化，增加NO Group層，讀取策略采用 node > node group > rack > off-rack的方式，通過跨Rack的機制，滿足云上虛擬環境的需求。第三是性能方面，可以通過Parquet將Bloom過濾器數據存儲到列元數據，執行選擇性查詢時啟用行組過濾。

對于Spark來說，應用場景中更多的問題就是Shuffle的問題，Shuffle的效率會影響到數據計算性能的延遲和效率，隨著Spark的發展，通過性能優越的內存存儲技術，提升Shuffle效率，從而提升Spark的效率。

未來，騰訊云構建的基于Spark的數據倉庫還會支持Update和delete機制，以及增加對Serverless -K8S的支持，ACID的支持。

騰訊云ElasticSearch產品架構與實踐

ElasticSearch在2010年左右出現，是目前搜索領域知名度較高的產品。騰訊云大數據技術總監鄒建平分享了騰訊云ElasticSearch產品在云原生架構設計、高可用、自動化運維等方面的思考，以及如何利用ElasticSearch來實現企業智能化轉型。

首先，鄒建平介紹了ElasticSearch存儲分析的平臺的特點，支持全文檢索的搜索引擎，同時ElasticSearch也是NoSQL數據庫，支持數據做保存和讀取，支持OLAP數據分析。此外，ElasticSearch是基于Java開發的，可以基于Lucene搜索庫通過倒排索引來直接通過關鍵字命中文檔，快速實現用戶檢索的請求。此外，通過在ElasticSearch外層開發RESTful接口，方便用戶平臺進行集群管理。而ElasticSearch產品成功的關鍵在于ELK Stack，擁有統一的生態，目前開發者超過10萬人。

在進入到移動互聯網時代，APP爆炸式增長，但APP中的數據并不能像網頁一樣很容易被爬蟲到，這對ElasticSearch搜索引擎框架來說，帶來了新的發展機遇。ElasticSearch數據都存在存儲引擎中，用戶對這些數據進行新的價值挖掘時，對ElasticSearch提出了新的要求，這也是ElasticSearch從搜索逐漸向分析演進的原因。

從搜索到分析的演進過程中，共經歷了五次變化。2010年，ElasticSearch剛推出時，主要支持搜索場景，使用倒排索引，在ElasticSearch中加入FieldData，將term到docid的映射逆轉，變成docid到term。但是在檢索構建過程中，對于數據量較大的檢索是非常災難性的，加載速度較慢。因此到了2012年提出了DocValus，是通過Docld到Value的列式存儲。FieldData是在檢索時實時構建，而DocValues是在索引時構建的，因此更容易壓縮，此外，DocValues是寫在磁盤中而不是內存，因此可以利用文件系統緩存來加速訪問。對比FieldData，DocValues的加速速度快2個數量級，并且檢索速度性能保持一致，緩存親和度更好。2014年以后，分析的復雜度越來越多，因此ElasticSearch做了去除框架的改進，后來提出的Aggregation可以支持嵌套聚合，Pipeline Aggregation能夠對聚合后的結果集再進行加工計算，例如求最大值、排序等等操作。2016年ElasticSearch算法進行優化，其中涉及全局序數、DocValues、BKD tree等。2018年提出的Rollup，可以提升查詢的效率，降低存儲指標。此外，ElasticSearch也支持SQL，支持多種訪問方式，例如CLI、Restful、Kibana Canvas、JDBC、ODBC等。

ElasticSearch增強了分析能力以外，還能做什么呢？首先是商業智能分析，通過各種手段對數據進行整合、統計和結果輸出。第二是日志、指標和APM這也是ElasticSearch主推的功能之一，在業務日志、指標都保存在存儲平臺后，將業務邏輯進行串聯實現APM，這樣就可以打通前端到后端的所有數據，當應用出現問題后，可以快速的分析出問題所在。第三是基于機器學習的安全分析，能對日志、指標進行異常檢測。

從2010年到如今，ElasticSearch從最初只用在搜索領域，到如今已經是分析領域的熱門技術，ElasticSearch發展的過程可以總結為“高”、“精”、“尖”。“高”指的是ElasticSearch在分布式計算方面有很多的設計，例如alias、index、shard、segment?！熬敝傅氖荅lasticSearch擁有多種高效的索引，包括倒排表、Docvalues、BKD tree、Global Ordinals等等?！凹狻敝傅氖荓SM存儲結構，數據不可變，對緩存更有親和度。

第二大部分鄒建平重點介紹了騰訊云ElasticSearch架構的優化。

騰訊云ElasticSearch產品架構圖

用戶使用騰訊云ElasticSearch產品時，經常會有些擔心，數據是安全，可用性是否高，沒有專門的人員出了問題怎么辦。在數據安全方面，騰訊云ElasticSearch支持高級商業特性（ X-Pack插件）數據權限管理，支持角色管理，集群、索引、文檔、字段各個級別的權限控制，外網HTTPS、黑白名單，客戶端、集群內節點SSL傳輸加密；在CAM方面，設置了騰訊云賬號權限管理；在Audit方面，加入了集群操作審計日志和XPACK安全審計日志。在數據可靠性方面，在VPC中可以做到完全邏輯隔離，多維度網絡安全管控；在Backup方面，支持數據定時備份和COS低成本備份；在Recycle-Bin，設置垃圾回收站，避免數據因人為原因丟失。在高可用方面，騰訊云進行了三方面的設置，實現跨可用區容災?；贓lasticSearch數據分布感知框架實現，主從副本放置到不同機房；三個專用主節點分布在三個可用區，避免無法選主；必選專用主節點，避免腦裂。此外，通過調整分配算法，使得在不同節點之間打散，避免熱點不均的情況發生，從而達到分片均衡優化。在高可運維方面，騰訊云也做了很多工作，通過自動監控告警系統來支撐ElasticSearch日常運維。

最后，分享了騰訊云ES產品未來發展的三個方向，第一，在水平方面，是更好的將上下游產品聯動起來，例如如何做好各種數據導入，和hadoop產品、對象存儲產品的數據聯動做得更加易用；第二，在垂直方面，加強將ES里的解決方案例如APM、安全分析、垂直搜索等功能更好落地到云；第三，在矩陣方面，我們會將騰訊的一些能力融入到ES產品中，例如如何將微信通知、或者我們的一些NLP插件，和ES結合起來。

Elasticsearch近期新功能

yarn在快手應用實踐與技術演進之路

來自快手數據架構工程師房孝敬，介紹yarn系統在快手的應用實踐，遇到的問題以及相應的技術演進過程。

Hadoop儼然已是業界認可、成熟的數據存儲、處理框架。目前，Hadoop的發展已經從1.0走到了2.0版本。在Hadoop v2.0的版本中引入Yarn，主要是解決了Hadoop v1.0中的擴展性問題。yarn主要分成三個模塊，一個是管理集群資源的RM，一個是管理機器資源情況的NM，還有管理APP資源和內部邏輯的AM。

RM模塊內部架構分為兩部分，一個是管理集群中節點和APP的狀態，分別有ResourceTrackerService和ApplicationMasterService進行管理。服務和RM通信后將消息送到RM內部，生成相應的事件，通過事件處理機制驅動APP和節點狀態機的更新，最后達成期望的狀態。yarn另一個主要功能是調度，早期yarn在NM心跳處理邏輯中觸發調度，因為調度比較耗時，會與其他事件處理過程競爭資源，導致雙方互相影響，之后社區進行優化，將調度邏輯拆離到單獨的線程，但還是存在很大問題，后面會介紹具體的優化。

快手在yarn方面的技術實踐主要分成四個方面：1、集群穩定性方面的改動。2、對yarn的搶占機制做了優化。3、yarn的調度性能做提升。4、計算集群小IO優化。

集群規模變大后，節點變多，APP數量增多，導致事件處理壓力變大，調度壓力增大，機器故障變多。快手從RM優化、避免單點問題兩方面進行穩定性改進。

在RM優化方面，快手曾經升級集群導致RM掛掉，通過對冗余事件進行優化，并且開發NM慢啟動策略，最終降低RM事件處理壓力，升級對RM的影響也就降低了。HDFS是yarn底層的設施，HDFS的卡頓會導致RM事件處理邏輯卡住，通過優化事件處理邏輯中HDFS、DNS等IO操作，提升事件處理邏輯的穩定性。優化完后，發現事件處理占用的CPU較多，為了避免事件處理邏輯成為集群性能瓶頸，把NM事件處理從主事件處理流程中剝離到單獨的線程，提升了整個事件處理的速度。

在特定場景下，會出現奇怪的磁盤問題，比如磁盤是好的但是某個目錄是壞的，這種問題在現有機制下很難發現，導致特定作業失敗。快手采用NM磁盤黑名單，通過task失敗信息進行規則匹配，發現磁盤問題，將有問題的磁盤放在黑名單中，不再向這個磁盤調度作業。yarn的一大問題是，一臺機器有問題調度失敗，會造成雪崩效應，造成作業大量失敗，快手通過集群層面黑名單機制解決這個問題。磁盤滿、fd泄露，線程泄露也是會造成故障的，快手通過對CPU，mem，磁盤文件大小，fd數目，線程數目的控制，增強底層隔離，避免相互影響。集群中的問題機器較多，在集群規模變大后，如何發現問題機器是個難題，快手通過Container失敗率高機器check、物理指標異常topN check和Job失敗信息匯總三個方法來快速發現問題機器。

yarn一個主要的功能就是調度整個集群的資源。yarn的調度模型是比較復雜的，為了保證調度公平性，需要對隊列和app進行排序。快手的初始思路是減少排序時間，縮小排序規模，優化排序算法。通過優化后，能夠支撐5000臺機器的規模。

但是優化后還是存在問題，擴展性不足，只能利用一個CPU；缺少全局節點信息，調度策略難以全局決策。最終，快手重構了調度架構和邏輯，開發了Kwai scheduler，建立資源分配的上帝視角，預先給隊列分配資源，并發批量調度。先選APP再選節點，調度策略方便擴充，最終線上的調度速度可以達到每秒鐘4萬多。

未來，快手將在三個方面進行建設，資源分級保障建設、多集群建設和超配在離線混合部署。目前，快手yarn集群規模較大，使用資源非常多，通過作業畫像和分級保障體系把資源傾斜給更重要的作業。此外，單集群容量有限，快手還會考慮多集群建設。第三，快手的yarn主要托管是離線計算的資源，公司很多非YARN管理的空閑資源沒有使用，將合適的任務調度到空閑的機器上，也是快手未來探索的方向。

云端大數據產品架構及實踐

彈性MapReduce是騰訊云構架于云端海量存儲、計算基礎設施之上的云端Hadoop 框架，用戶可在十分鐘獲得一個安全、低成本、高可靠、高彈性擴展、架構可持續演進的專屬大數據集群。騰訊云高級工程師喬超分享了騰訊云大數據EMR產品及其價值，同時根據實際經驗介紹了大數據平臺實踐。

如今，各大企業都意識到數據的重要性，如何挖掘數據價值，為企業做出決策，變得尤為重要。然而，在企業級大數據架構中，主要在三大領域存在挑戰，企業級數倉與數據集市構建、流式數據分析和海量數據檢索與分析，而各大社區也都通過開源組件形成了不同的解決方案。但是構建大數據平臺的技術復雜性高，構建周期長，運維基礎設施匱乏，技術抗風險能力弱，因此，大數據開源技術能一定程度滿足研發工程師的顯性技術需求，但無法滿足企業潛在的深層次隱形需求。

為了幫助企業解決以上挑戰問題，騰訊云從技術組件到產品服務，通過完善大數據基礎設施幫助企業客戶高效應對從初創發展到成熟過程中的大數據技術性挑戰。騰訊云將企業劃分為初創型和成熟型，對于初創型企業，騰訊云提供封裝好的開箱即用的產品，包括計算服務、BI分析組件，云數倉、云搜等能力。而對于成熟型企業，騰訊云幫助其解決偏運維層面的問題，結合用戶自己的特色，更加貼近用戶的業務應用場景，幫助用戶建立自己的大數據解決方案，騰訊云在此方面則提供彈性MapReduce和ES。

喬超介紹了騰訊云云端大數據基礎設施的優勢：1、海量計算資源的優勢，騰訊云擁有全球25個地理區域、全球51個可用區、分鐘級計算存儲資源實時調度，解決用戶就近計算的場景。2、開放性和連續。通過與開源基金及公司協作，開源協同的持續性研發資源投入。3、大數據業務場景化。騰訊云提供騰訊系金融、社交網站、游戲、視頻、新聞資訊、電商等領域大數據場景應用，同時也包括用戶畫像、精準推薦、用戶行為分析、金融風控等場景應用。4、持續性服務。騰訊云提供線上技術交流、培訓，線下技術沙龍交流平臺以及持續性產品/服務支撐。

彈性MapReduce是騰訊云構架于云端海量存儲、計算基礎設施之上的云端Hadoop 框架，用戶可在十分鐘獲得一個安全、低成本、高可靠、高彈性擴展、架構可持續演進的專屬大數據集群。該產品幫助企業在提升研發效率、運維效率、降低硬件成本的同時，輕松應對TB、PB級的海量數據的價值挖掘挑戰。

彈性MapReduce可以靈活應對多業務場景，包括在線業務、數據倉庫、實時流式計算，機器學習，有效支持企業大數據架構可持續演進?；谠贫说腍adoop框架產品將有效提升企業對大數據基礎設施的快速構建、高效運維及應用的綜合性大數據能力。騰訊云彈性MapReduce產品包括四大優勢：10分鐘構建上百節點大數據集群，支持控制臺/程序API靈活構建；十分鐘節點級橫向擴展(數節點擴展至數百節點)，十分鐘集群級橫向擴展(單一集群擴展至數個異構集群)；百余監控指標覆蓋(服務器級、服務級)，異常事件秒級觸達，Ddos/VPC安全加固、 Kerberos節點級服務信任；云端多源數據支持(云數據庫、ES、Ckafka、流計算、Snova云數倉)，云端可視化BI工具無縫對接。

在沙龍現場，喬超現場演示了通過騰訊云快速構建云端大數據分析平臺，只需要四步，首先勾選EMR組件，然后配置集群規格，創建集群，最后快速擴縮容。

最后，喬超介紹了騰訊云彈性MapReduce運營實踐全方位規劃，包括初期規劃、集群構建、參數優化、線上運營四個階段。在初期規劃方面，企業需要進行資源預估，同時騰訊云也會提供建議，然后企業進行機型配置核定，包括機型、核數、內存、磁盤等方面。在集群構建階段，通過大數據技術棧，提供從底層基礎架構到上層應用全方位的技術能力。而集群部署模式分為混合部署和獨立部署兩種，初期階段可以混合部署，隨著業務規模及企業發展，逐步走向獨立部署模式。經過EMR團隊多年的經驗積累，在參數優化這塊他們也給出了一些建議，包括通過心跳設置和元數據管理對HDFS進行優化，通過ResourceManager堆大小、TimeLineServer和AMShare三個方面對yarn進行優化，通過FetchTask和計算引擎對Hive進行優化等。

騰訊基于Flink構建實時流計算平臺的技術實踐

Flink是由Apache軟件基金會開發的開源流處理框架，其核心是用Java和Scala編寫的分布式流數據流引擎。而Flink也是大數據處理領域最近冉冉升起的一顆新星。騰訊高級工程師楊華介紹了騰訊實時流計算技術的演進過程以及對Apache Flink所進行的優化與擴展。

Flink在騰訊的發展要追溯到2017年。2017年上半年，騰訊對Flink框架進行調研，包括性能對比測試，評估關鍵可用性等現網關鍵指標。到了2017年下半年，騰訊內部進行特性的定制開發與性能優化，相關業務的灰度測試、上線。2018年上半年，騰訊打造Oceanus實時流計算平臺，覆蓋公用云、專有云場景，內部業務遷移與試運行。2018年下半年，Oceanus公有云流計算產品正式上線公測，騰訊其他BG流計算業務與大數據套件整合。到了今年上半年，騰訊上線在線機器學習業務、秒級監控等服務，打造場景化的業務支撐能力，支持廣告、推薦業務。雖然騰訊研發Flink只有2年半的時間，但是目前騰訊的Flink支持集群總核數達到34萬，峰值算力達到每秒2.1億，日均處理消息量20萬億，日均消息規模是PB級別。

騰訊對Flink進行了四方面的優化。由于Flink的Web UI不利于定位新網的問題，因此在Flink1.6版本時，騰訊對web UI進行重構。第二，騰訊對JobManager Failover進行優化。通過Standalone模式和宿主模式，騰訊云對Queryable state進行了優化。最后，騰訊對Increment Window進行改進，對Flink原生窗口進行增強。

Apache Hudi是今年上半年剛剛加入Apache孵化器進行孵化的項目，是Uber于2016年在內部環境中使用的框架，用于大規模數據集。通過Upsert和Incremental pull兩種方式，Hudi可以在Hadoop重新分布式文件系統數據集上進行集中。 Hudi可以在延遲和成本的維度上，在單個的物理數據集上提供三個不同的邏輯視圖：一是讀優化視圖，能夠指向常規的Hive表進行查詢；二是增量視圖，能夠捕獲數據集的變更流供給下游的Job/ETL，允許增量拉取；三是準實時視圖，在準實時數據上進行查詢，同時聯合Apache Parquet(列) & Avro(行)的數據。而Flink和Hudi進行整合，可以提升分析過程的效率。

騰訊實時計算團隊對社區版的Flink進行了深度的優化，并在此之上構建了一個集開發、測試、部署和運維于一體的一站式可視化實時計算平臺——Oceanus。騰訊云流計算Oceanus是位于云端的流式數據匯聚和計算服務，用戶只需幾分鐘就可輕松構建流計算應用，而無須關注基礎設施的運維，并能便捷對接豐富的云上數據源。它可以幫助企業構建多樣化的流式數據處理能力，輕松應對海量數據實時處理和分析決策的挑戰。 

Oceanus平臺整體架構

Oceanus平臺特點：1、實時計算；2、完全托管；3、超高彈性，支持彈性擴縮容；4、簡易SQL模式；5、支持UDX/自定義程序，方便大家去簡化開發邏輯的成本；6、豐富的云端生態，提供一些生態的產品，包括數據采集等服務。

Oceanus擁有豐富的流計算應用場景，有效支持企業的實時計算需要和提升決策分析水平。典型的應用場景包括：1、點擊流分析，可以分析用戶在Oceanus進行操作的行為，通過后臺相應分析為商業決策或者廣告投放提供支撐；2、金融實時風控，欺詐的行為監測；3、物聯網IoT監控；4、電商精準推薦。

Oceanus覆蓋作業的生命周期，包括開發、測試、部署、運維，用戶只需要關注它的應用邏輯的實踐。目前，Oceanus應用建構方式包括三種模式：1、畫布的形式來構建應用，騰訊將Flink做成相應的組件放在Oceanus的平臺上，用戶在使用的時候只需要在具體的算力進行相應的編排即可；2、標準SQL的方式，支持SQL語法可以快速高效的創建應用；3、支持Datastream API和dataset API，可高度定制特殊的業務邏輯。

最后，楊華介紹了Oceanus應用提交步驟，首先讓用戶配置相應的元數據，包括消費信息、數據格式，然后創建DAG，最后再經過編譯提交。

通過半天的沙龍活動，到場的用戶紛紛表示收獲滿滿，不但對大數據相關技術有了深入的了解，還對騰訊云在大數據方面所做的支持和優化給予了肯定，期待未來更多的技術內容分享。
云+社區技術沙龍是騰訊云官方開發者社區舉辦的沙龍活動，希望通過分享技術讓更多開發者學習和交流，成為騰訊云連接開發者的平臺，共同打造技術影響力。 

【51CTO原創稿件，合作站點轉載請注明原文作者和出處為51CTO.com】