AdMaster,技術驅動發展的數據應用領導者
BAT巨頭對數據擁有各具特點,首先說百度:百度擁有用戶搜索表征的需求數據、爬蟲和阿拉丁獲取的公共WEB數據;阿里巴巴擁有交易數據和信用數據;騰訊則擁有用戶關系數據和基于此產生的社交數據。而且,BAT對于數據的應用和變現形式也各不相同:百度的數據源于數據自產+第三方合作,采用研究和實用結合的使用方式;騰訊的數據自產自銷,主要為其產品所用;阿里巴巴看中的是數據的流通,做數據的集散地。
從數據產生的根源來看,BAT三大巨頭擁有的數據大部分主要都是基于B2C 的服務而產生的。然而,隨著網絡技術的發展和數字營銷的普及,隨之產生另一部分非常重要的大數據則是在B2B的服務模式下,挖掘采集而來的消費者廣告行為、動態、品牌輿情等消費者行為相關的數據。針對這些數據的采集、管理、分析和應用,國內出現了像AdMaster(精碩科技)這樣的數據應用和管理解決方案的公司。AdMaster是一家成立于2006年的SaaS公司,專注于通過技術驅動來完成數據的挖掘、分析、管理和應用,利用技術和數據為客戶創造商業價值。據了解,AdMaster的數據應用是多源的。目前采集和分析得數據主要包括數字廣告效果評估和優化數據、社交媒體營銷數據、移動廣告效果評估和優化數據、跨多屏優化和效果研究數據、品牌電商數據以及RTB領域DMP數據平臺和廣告主私有數據管理平臺等。同時,還包括第三方合作伙伴對接數據和來自廣告主提供的自有CRM系統數據。
面對如此海量且多源數據的分析和管理,主要推動AdMaster業務快速發展的就是其核心的數據應用技術。AdMaster的技術實力雖然不能說堪比BAT巨頭,但是其技術優勢在數字營銷領域內也稱得上***。據AdMaster高級技術總監盧億雷介紹:“目前,AdMaster的數據處理能夠實現每秒接收超50萬次的并發請求,每天新增數據量超過4TB,對1000億條記錄進行超過1000種維度的計算。”同時,為了保證數據質量,提供高可靠、高可用、高擴展、高性能系統服務,AdMaster所有服務全部做到了無單點,數據多重備份,系統采取分布式集群,主要分為WEB集群,存儲集群,數據庫集群,計算集群四大分布式集群。根據海量數據處理需求,AdMaster自主研發了行業最領先的ADH(Advertising Distribution Hadoop)數據處理平臺。ADH平臺可以幫助AdMaster在完成數據采集后快速進入計算流程,可以更快的為廣告主提供數據支持,數據處理速度對比同行業提高了1倍以上。與此同時,ADH平臺還具有以下幾個優勢: 減少數據擴充,優化合并過程,使采集數據直接生成客戶所需格式,提高處理速度;內置廣告行業算法,不需要編寫MapReduce就可以計算PV、UV等各種維度數據;優化HBase查詢,專為社會化數據定制,提高處理性能;集成數據任務調度系統,可以根據業務需求自動調整計算資源;集成Storm,優化Storm傳輸,減小數據延遲,實時提供數據計算;集成Spark,優化迭代工作負載,提高系統可靠性。
“另外,AdMaster的技術應用優勢還體現在AdMaster對數據應用有很深的理解,具有多源數據的挖掘、分析和處理能力。同時擁有超大集群實戰經驗、及對推薦算法、分類、聚類、NLP等算法有很深的研究的各種人才。”盧億雷強調。
在數據應用標準方面,盧億雷也很自信闡述了AdMaster在數據應用和合作方面的開放態度。為了拓展AdMaster多源數據的范圍,AdMaster充分擁抱開源技術,增加分布式存儲和計算(包括Hadoop,Spark,Storm等),以及算法優化(包括有NLP,機器學習等)等方面的研發投入。目的是為行業提供高質量服務、推動行業標準完善、全面提高數據可靠性和安全性。
再強大的技術都無法超越人才和團隊的力量,據盧億雷介紹,AdMaster設有北京和上海兩個技術研發中心,技術人才占公司總人數的60%。他們主要來自百度、阿里、騰訊、新浪等互聯網巨頭公司,對大數據處理技術有著很深的見解,包括對Hadoop等離線,流式,實時等分布式計算有豐富的積累和經驗。
未來,隨著數據價值潛能更大的被挖掘和重視,數據應用技術和體系將在市場需求的刺激下持續、快速的發展。像AdMaster這樣的以技術為核心的公司一路走來不可避免的需要面臨行業發展帶來的各種挑戰,當然挑戰也是機遇,只有敢于迎接挑戰才能抓住機遇。相信,也只有這樣的***才能***整個行業的發展和繁榮。