當精準廣告遇到大數據
從互聯網廣告誕生開始,精準的概念就一直為業界所討論,因為互聯網的技術性特征使得網絡廣告具備了實時投放管理優化以及針對海量數據挖掘的基礎。目前,在美國精準廣告已經由最初基于媒體主題頻道和頁面內容定向,演進到基于Cookie交換等數據分析服務,實現統一平臺管理跨網絡媒體并通過大數據技術實現精準廣告投放的階段。精準廣告營銷已經成為主流的營銷手段。而在中國,精準廣告營銷方興未艾。根據相關數據統計,廣告精準程度、受眾覆蓋規模和廣告平臺擁有的媒體資源是廣告主考量廣告平臺的三大關鍵要素,而廣告精準程度以69%的比例位列廣告主考量廣告平臺的要素之首,精準廣告的重要性由此可見一斑。
(資料來源,媒介360,2015廣告主投放數據報告)
要實現精準廣告營銷,通常需要借助DSP來進行。由于DSP可大幅提升投放的精準度,為廣告主提供跨媒介、跨平臺、跨終端的廣告投放平臺,通過數據整合、分析實現基于受眾的精準投放,并且實時監控不斷優化,因此所有對廣告的真實效果有追求的行業都適合DSP。但隨著廣告主對精準廣告的要求越來越高, 以及大數據技術對精準廣告的巨大推動作用,DSP平臺對實時數據處理效率的要求和對大數據技術的引入成為了當務之急。因此,選擇合適的大數據處理平臺成為了精準廣告營銷用戶面臨的難題。
來自DSP的業務挑戰
眾成就數字傳媒集團是央視***的廣告代理公司—三人行的母公司(以下簡稱“眾成就”),集團下屬三人行、聞成就、在身邊三家子公司。業務覆蓋電視廣告、大內容策劃、投資與代理、全媒體數字營銷以及大數據研究與移動產品開發服務。基于19年積累的豐富廣告服務經驗,不斷延伸互聯網發展下數字營銷領域的觸角,致力于成為提供全媒體服務的綜合性傳媒集團。
從2012年至今,眾成就文娛內容合作已超過220個IP;從2015年開始,獨立投資打造《黃金線路》、《車神駕到》、《全家好拍檔》、《魅力廚房》等熱門IP,并以聯合投資、內容代理等方式共同打造數十檔IP內容;而伴隨著大數據時代的來臨,2015年啟動以人為中心的IP文娛產業鏈布局,希望通過大數據分析產品開發,構建精準DSP平臺,打通線上與線下,鏈接用戶全媒體軌跡,獲取大內容策劃與制作的內容方向反哺與全平臺投放策略。眾成就DMP(數據管理平臺)提供數字廣告營銷從曝光到轉化全流程中集數據采集、存儲、分析的解決方案,對外提供統計結果的前端展示和報表輸出功能。眾成就DMP致力于幫助廣告主圍繞用戶受眾優化媒體資源分配,輔助廣告投放創意和落地頁內容制作,并使數字廣告投放策略實時調優成為可能,從而提升最終的銷售轉化。通過積累廣告主歷史投放數據并提供深度的數據全景洞察,廣告公司和廣告主結成戰略伙伴關系。構建眾成就的精準DSP平臺,對數據的實時處理能力提出了很高的要求:
首先,眾成就DSP平臺由于具有接入用戶眾多,用戶數量級達到了十億量級,而頁面也達到了百萬量級,如此大規模的用戶和頁面處理對數據處理平臺的性能是一個巨大的考驗。
其次,眾成就DSP平臺具有高并發的特性,在線投放系統每天需要處理百億次廣告交易,這對數據處理平臺的并發性能又提出了很高的要求。
***,AD Exchange要求競價在100ms內完成,這就要求數據處理平臺具有低延時的特性,因此,網絡帶寬的質量有較高的需求。
華為企業云應對挑戰
該系統主要包括前端投放集群和后端大數據計算集群兩部分,前端投放機業務集群使用物理機實現,后端計算集群部分使用彈性大數據服務(云服務器),采用混合托管形式搭建。眾成就面向大數據后臺接入功能做了大量測試,屬于高級功能群的用戶,使用spark Client向大數據集群提交作業,后臺JDBC和Hbase client連接使用大數據。同時基于大數據+OBS的方案解決了客戶對于本地kafka和數據存儲的維護成本,壓力峰值滿足了眾成就的業務場景,最終獲得了眾成就的認可。
該系統中,眾成就主要使用的業務包括hadoop client、spark client、hive+hbase,為此,華為企業云進一步完善了功能驗證、可擴展性和用戶資料,同時通過測試以及個性化的定制方案滿足了客戶運行態作業后臺監控和多用戶使用場景功能需求,這些個性化的定制包括:
混合托管搭建:前端投放集群使用物理機,后端集群使用 大數據服務
使用多種大數據服務:hadoop 、spark 、hive+hbase
高質量5線全動態BGP網絡保障
除此之外,華為企業云大數據解決方案還具有以下特點:
一,海量存儲,功能豐富,管理簡單
PB級存儲容量,云端***擴容;全面支持采集、存儲、分析、挖掘、深度學習;一站式可視化管理,簡化部署及運維。
二,高度兼容開源,商用性保障
全面兼容開源技術;整合主流開源軟件,性能穩定性提升30%以上;具有多種在線、離線分析工具。
三、企業級數據安全保護
VPC 私有網絡隔離、數據冗余保護,11個9存儲持久性、256位傳輸加密、永不進行數據變現。
客戶收益
通過華為企業云大數據解決方案,眾成就DSP平臺交出了每天17億條數據記錄處理,10分鐘完成2萬次TPS查詢,競價的延時在60ms以內,充分滿足了眾成就的業務需求,贏得了用戶的高度贊譽和信任。
眾成就大數據產品副總監馬益民表示:“華為企業云提供靈活的云計算資源選擇,按需的資源模式可以幫助我們在流量高峰時動態擴展系統前端投放機,并在高峰過后刪除以節省資費,達到資源的利用***化。在大數據系統的搭建方面,Mapreduce服務和對象存儲服務幫助我們快速的實現了數據從流入、存儲、分析、展示的整個流程。其中對象存儲服務良好的數據高可用性,給了以數據為核心資產的團隊足夠的安全感,同時比起將數據存儲在本地云硬盤上又節省了很大一筆開支。而Mapreduce服務與對象存儲服務良好的兼容性使得我們在清洗和分析數據時體驗更加流暢,清洗處理后的數據可以***時間存入RDS做后續分析。另外,Mapreduce服務天然支持Spark內存運算,幫助我們在數據挖掘算法的應用上提供了非常好的支持。通過深入的合作,華為企業云與眾成就達成了良好的合作模式與長期信賴。華為企業云迅速的服務反饋機制讓人佩服,眾多項目的高效及時上線為眾成就的客戶帶來切實有效的營銷服務與有價值的項目參考數據,成功為用戶、品牌與媒體搭建了廣告效果卓越且具有高度信任的服務平臺。希望與華為企業云的合作能繼續取得更大進展,雙方共同成長。“