快手平臺研發和大數據負責人:AI是快手大腦數據驅動是心臟
近日,第二十二屆中國國際軟件博覽會(簡稱“2018軟博會”)第五場全球軟件產業發展高峰論壇“大數據賦能實體經濟”在北京展覽館召開。快手科技平臺研發和大數據負責人韋彬發表主題演講“快手的數據驅動實踐”,分享中提到數據驅動是快手公司文化的一部分,每個崗位的員工都需要用科學系統化的方法解決問題。
(快手科技平臺研發和大數據負責人韋彬在大會上發表主題演講)
用大數據、AI等技術 提升每個人獨特幸福感
韋彬舉了兩個快手用戶的例子,解釋快手如何用科技提升用戶的幸福感。四川大涼山懸崖村的用戶楊陽,楊陽通過快手向全世界展示家鄉的美麗景色,幫助家鄉的土特產找到了銷路,帶領村里人脫貧。還有一位的獨居的老人,老人在快手展示拉二胡的視頻積累了8萬多粉絲,體會到網友的關注、關心,快手幫助老人消除了一點點孤獨感,提升了一點點幸福感。
韋彬介紹,要做好提升每個人獨特的幸福感,需要用到大數據技術、AI技術,實現數億級別用戶和50億海量視頻的精準匹配。此外,快手采用AR等前沿技術給用戶帶來等新奇體驗,提升用戶體驗。
快手簡單UI背后是復雜的AI系統。從視頻生產到分發的各個環節,AI技術貫穿其中。在視頻生產階段,快手自研的YCNN深度學習引擎及AR算法,通過人臉識別、姿態估計、肢體識別等技術給用戶提供新奇的視頻特效。視頻上傳后,會通過AI來識別和理解視頻中的人物、場景、語言、音樂等各種豐富內容。
用戶理解環節,快手會通過大數據去理解每一位用戶的興趣偏好,不僅基于視頻內容,還基于點贊、評論、觀看時長、用戶關系等用戶行為數據,幫助快手來更好的理解用戶。除了理解用戶的興趣偏好,還會理解用戶潛在的興趣,幫助用戶探索更大的未知領域。
快手的視頻分發環節,背后是一個超大規模的實時推薦系統,它基于深度學習模型,使用萬億級的特征大數據,實現了全鏈路的實時在線學習。能夠將用戶實時行為秒級更新到模型,通過檢索、預測、排序等子系統實現視頻與用戶的精準匹配
AI是快手大腦 數據驅動是心臟
產品是快手的面龐,工程是快手的整個身軀,AI是快手的大腦,數據驅動就是快手的心臟。韋彬介紹,之所數據驅動可以稱之為快手的心臟,因為不管是算法、產品還是工程,在快手均重度依賴數據,需要數據體系的持續支撐。
快手的數據驅動,有自己的一套價值觀,韋彬把它總結為三個關鍵詞。***個是文化,數據驅動是快手公司文化的一部分,在快手要求每個崗位的同事,需要用科學系統化的方法解決問題,數據驅動是系統性方法里最基本的。
第二個是賦能。希望公司任何一個崗位的同事,只要對數據有需求,只要能夠通過數據改進工作,都可以方便高效地使用快手數據平臺及工具獲取和使用數據。
第三個是洞見。數據驅動應該幫助各個不同層級,不同崗位的同事做業務上的決策。也就是說,關注的是從數據上,能夠發掘出有洞見的知識及有價值的結論。
數據賦能 用數據驅動建設短視頻社區
韋彬分享了快手在數據驅動實踐過程中的經驗積累。經驗之一,如果不能很好的監測和量化數據,就不能去管理和改進。韋彬認為,使用科學的數據驅動方法,是快手建立短視頻社區以及社區獲得高速發展的重要原因。
快手很早建立實時的數據指標監測體系,通過定義核心指標、監測核心指標來指導社區優化,逐步建立正反饋的健康社區。比如,通過監測原創視頻的一些核心指標,不斷提升原創視頻的比例,并刺激原創視頻生產,形成良性循環。
快手的普惠價值觀,希望所有人都能在這個平臺上分享生活。韋彬介紹,快手把這個價值觀落地成了具體的可以數據驅動的指標。比如,經濟學用基尼系數反應貧困差距的核心指標,快手的社區系統里面,也會建立類似的核心指標,監測整個系統的中心化的程度以及“貧富差距”程度。
經驗之二,不同職能團隊需要不同的數據賦能方法。韋彬以決策人員、產品經理、算法\策略工程師、后端工程師四個不同的崗位為例,分析了不同的數據賦能方法。
決策人員更關心宏觀的核心指標,以及隨時間的變化趨勢,一旦發現異常會希望能下鉆分析和找出原因,針對決策層面的數據需求,快手建設了配置化報表平臺、留存分析、多維分析等一系列工具。
對于產品經理,他們對數據系統的關注點在于怎么使產品的迭代更加快,怎么樣更好的做產品上的決策。針對產品的訴求,快手建立了高效的A/B Test平臺。快手的A/B Test的平臺能夠支持同時并行,互不干擾做大量并行的小流量實驗。每天同一時刻有上百個實驗同時進行,最終選擇客觀指標證明更優的方案,產品迭代的效率得到數量級的提升。
大數據怎樣給AI體系最核心的開發人員賦能?韋彬介紹,快手的算法策略工程師,每天在花大量時間分析和回答各種偏微觀的數據上的問題,這些問題通常具有不確定性和可探索性,快手針對這些場景建設了一個交互式多維分析系統。
系統的實時性能夠實現亞秒更新,實時接入;系統具有非常強的交互性,在90%的場景可以一秒鐘之內返回結果。此外,該系統提供豐富的多維分析能力以及可視化能力。
對于后端的工程師的賦能,快手建立一個基于服務間調用大數據的調用鏈分析監控系統,在快手復雜的服務依賴樹中,實時發現問題,確定影響指標,定位問題范圍,以讓后端工程師對服務質量盡在掌握。
經驗之三,韋彬分享了平臺重要的基本功。快手的數據增長非常迅速,超大規模存儲與計算設施的建設考驗平臺的基本功。在監控、調優開源系統的基礎上,快手對開源系統做了二次開發的深度優化,并搭建平臺,實現對超大規模集群的使用。
此外,隨著數據規模的極速增長、數據從生產到消費的鏈條變長變復雜,給數據體系帶來多方面的挑戰。快手重視數據治理,在質量治理、產出治理、安全治理、成本治理4個方面,并持續投入,通過工具鏈研發、流程改進、指標驅動等方法為快手大數據持續健康發展做好保障。