之家push系統迭代之路
前言
在這個信息爆炸的互聯網時代，能夠及時準確獲取信息是當今社會要解決的關鍵問題之一。隨著之家用戶體量和內容規模的不斷增大，傳統的靠"主動拉"獲取信息的方式已不能滿足用戶個性化信息的需求，信息主動尋找用戶的方式，更適合移動互聯網。push系統能在用戶不啟動APP的場景下獲取到相關信息，利用機器學習技術構建模型，為用戶提供精準的個性化推薦，讓用戶第一時間知曉產品、內容、活動等的最新動態。
1、系統綜述
push是一種有效召回用戶的產品，它涉及到的業務場景有：運營場景化推送（活動、消息通知、熱點）、算法精準推送（定時個性化推送），它的核心模塊如下：
數據處理：用戶數據、內容數據以及用戶歷史行為數據等。
流程預測：通過召回、排序、干預、過濾等，生成待推送渲染數據。
JOB：調度、觸發推送任務的執行。
推送通道：查詢、過濾有效設備，封裝協議和消息體，識別不同APP，下發到終端。
終端：對消息進行積攢處理，請求廠商或第三方渠道，進行消息下發。
APP：通知欄或彈窗展示推送消息，并上報到達和點擊數據。
圖片
接下來將從數據、算法、架構三個方面介紹push精準推送系統的構成：
- 數據：數據是push系統的基石，包括用戶數據、內容數據以及用戶歷史行為數據等。它以離線畫像為主，輔以實時行為畫像。
- 算法：算法需要適應高度復雜性并處理大量數據，傳統的人工策略已無法進行分析干預，因此需要一套基于復雜信息的處理邏輯。隨著push業務復雜度的提高，算法也從最初的樹模型發展到以神經網絡為基礎的深度學習模型。
- 架構：架構保證push系統可以進行近實時化、全自動化的運行。架構包含了收集用戶行為、提取用戶畫像特征、存儲用戶數據、生成推送結果等。用戶對內容的時效性、個性化要求越高，系統架構就會越復雜。
2、系統迭代及優化
2.1 鏈式任務
push采用鏈式任務支撐整個系統，每批次預測任務都需要經過特征提取、召回、排序、打散、重排、生成推薦結果等步驟，隨著新特征的接入以及召回和排序場景的不斷迭代優化，任務失敗的頻率越來越高，主要存在如下問題：
● 特征數據難以復用：特征數據存儲在臨時表中，任務執行失敗時需人工介入恢復，無歷史數據可用。
● 流程執行鏈路過長：召回、排序、重排等關鍵流程每一步失敗都將造成任務失敗且重試成本高。
● 非明文類召回功能接入成本高：新的召回策略實驗不能動態接入，需要開發介入。
2.2 異步服務
針對鏈式任務存在的問題，push任務采用分尾號、分時段并行執行，并通過以下方式提升任務執行效率：
● 數據分區：將特征數據及預測流程各環節生成的結果存入分區表，解決任務執行失敗時無數據可用的問題。
● 流程拆分：將預測主流程拆分為召回、排序、重排、結果融合等子流程，每個子流程按尾號異步執行，互不影響，每個子任務只需取上一環節生成的最新結果即可繼續運行，提升了系統的穩定性及容錯性。
● 平臺化配置：通過配置平臺動態接入實驗，簡化新策略接入成本。
3.整體設計
3.1 業務架構
圖片
push系統業務主要分為三大部分，離線層、近線層和推送層。
- 離線層：是計算量最大的一個部分，它不需要實時提供服務。主要功能模塊有數據處理、數據存儲、離線特征計算、離線預測等。它通過任務調度平臺定時從全量數據中抽取我們需要的數據，進行相應的加工，生成對應的特征，經過spark模型進行離線預測，得到待推送結果。
- 近線層：特點是準實時，它可以獲得實時數據，然后快速計算提供服務。通過監聽kafka，獲取用戶行為日志，計算得出用戶實時特征（用戶搜索車系、瀏覽車系等），然后將實時特征與長中期特征進行融合，調用tensorflow模型實時預測得到待推送結果。
- 推送層：將離線預測結果和實時預測結果進行融合（優先取實時結果），按批次生成待推送數據。通過任務調度中心定時選取最新批次預測結果給用戶進行推送。
3.2 技術架構
圖片
push技術架構的設計思想就是對數據層層建模、層層篩選，幫助用戶從海量數據中找出其真正感興趣的那部分內容。它包含以下幾個部分：
3.2.1用戶特征
push用戶特征包含兩部分，原始特征和計算特征，其中原始特征來源于畫像表、用戶行為日志、內容數據等，將原始特征經過加工形成計算特征，計算特征用于資源召回。
圖片
3.2.2物料特征
push物料主要分為以下幾類：原創文章/視頻、帖子、口碑、車家號、問答。每類內容又分別包含興趣車系、標簽、關注作者、點擊數、瀏覽數、收藏數、互動率等特征。
圖片
3.2.3預測流程
預測是push系統中最重要的環節，通過獲取用戶特征與物料特征，按照一定的邏輯處理信息后，產生推薦結果。它主要分為以下幾步：
1. 召回：將十萬量級的物料先縮小到千量級。涉及到的召回方法有：
熱門召回：將一段時間內的熱門內容召回。
標簽召回：根據每個用戶的行為，構建標簽，并根據標簽召回內容。
協同召回：基于用戶與用戶行為的相似性推薦，發現用戶潛在的興趣偏好。
2. 過濾：已經曝光和點擊后的資源、與用戶所在城市不同的資源不會再推送到用戶面前。
3. 精排：將召回和過濾后的內容通過模型預測出分值，根據得到的分值進行排序。
4. 重排：將精排后的推薦結果進行一定的修改，例如控制某一車系的頻次，根據召回策略的權重對排序分值進行修改，將效果好的策略召回的資源置頂。
圖片
四、可視化平臺
push系統以定時任務為主，通過每日多次的召回、排序、過濾等主流程的運行，將最新物料及時推送至用戶端，相較于傳統監測任務異常后進行的事后處理，我們更傾向于實時監控。
1、統一調度平臺
用于支撐push系統主流程業務運行，提供了失敗重跑、超時報警、日志查看等功能。
圖片
2、報表平臺
報表平臺主要包括推送策略打開率、實驗打開率、尾號打開率的統計，以及用于輔助決策的內容池素材統計，用于事前預警的召回結果統計，這些報表便于開發人員及時發現和改進系統問題。
圖片
3、配置平臺
通過配置平臺進行ABTest、召回策略、排序模型、運營規則、過濾邏輯的動態切換，針對不同的推送時段可以進行個性化的配置。
圖片
五、總結
push系統是汽車之家APP的基礎功能，是觸達用戶的一個非常重要的手段，它每天給幾千萬用戶提供及時有趣的內容服務，對于提高主軟活躍度及用戶粘性起到重要作用。未來它將繼續致力于召回喚醒沉默用戶、促進用戶活躍、提高功能使用體驗。
作者簡介
■ C端及中臺產研中心-智能推薦部
■ 汽車之家高級系統開發工程師。先后從事知識圖譜、之家大腦、PUSH精準推送等業務。現主要負責PUSH系統相關工作。
■ C端及中臺產研中心-智能推薦部
■ 汽車之家系統開發工程師。先后從事家家小秘、知識平臺、PUSH精準推送等業務。現主要負責PUSH系統相關工作。
