知乎互動反作弊實踐
一、知乎反作弊簡介
知乎是中文互聯網知名的可信賴的問答社區,為用戶提供了豐富的內容創作與消費功能,致力于讓人們更好的分享知識、經驗和見解,找到自己的解答。
作為UGC(用戶生成內容)社區,知乎面臨一系列風險,反作弊團隊目前針對垃圾信息、刷粉、刷贊、賬戶盜用以及流量攻擊等問題進行識別與治理,覆蓋業務場景多,面臨諸多挑戰。
二、互動反作弊的意義與挑戰
今天主要分享的是我們在刷粉、刷贊等互動反作弊方面的實戰經驗。接下來的介紹將分為三個部分:作弊的定義、作弊的原因及應對措施。
目前,知乎面臨的刷量問題可以歸納為三類。
第一類是傳統機器刷量。這類行為通常通過協議攻擊或腳本攻擊偽造數據。其特點是數量較大且特征明顯,較為容易發現和治理。
第二類是真人眾包刷量。這也是近年來行業內較為常見的一類刷量手段。黑灰產組織通常會在眾包平臺或任務群中發布懸賞任務,吸引真實用戶完成這些任務。盡管此類作弊模式的技術復雜度相對機器刷量較低,但其識別成本和治理難度較高。
第三類是抱團刷量。具體表現為眾多創作者通過線下群組的形式對彼此的內容進行互動。這類問題在最近兩三年間在知乎平臺上較為常見,由于參與的用戶多為知乎平臺上的活躍創作者,這使得此類行為的治理難度較大。
作弊行為本質上是一種趨利行為。上述提到的三類方式背后的動機可以歸納為兩大類:直接獲利和打壓競爭對手。
直接獲利的主要利益點可總結為以下三種:
- 獲取流量。刷量行為能夠促進內容分發,進而實現商業價值的轉化。此外,通過刷量獲得關注,創作者可以進行引流操作,吸引更多的關注度或潛在客戶。
- 滿足數據交付要求。許多客戶或廣告主對商單內容設有數據考核指標,創作者為了達到這些考核標準,可能會有動機進行刷量,以確保數據符合預期。
- 賬號成長。刷量可以幫助快速提升賬號等級和影響力,從而解鎖平臺內的更多權益和服務。
打壓競爭對手也是一種常見的作弊動機。常見的方式包括點贊競爭對手的負面內容或惡意點踩其正面內容,以此破壞對方聲譽,削弱其競爭力。
打擊作弊行為對知乎具有多方面的重要意義:
- 法律法規層面。近年來,國家高度重視虛假流量和網絡水軍問題,并出臺了一系列相關法律規定。在“清朗行動”等專項治理活動中,也特別針對網絡水軍及網絡傳播秩序提出了具體要求。因此,平臺對內部出現的作弊問題進行打擊,不僅是遵守法律法規,也體現了知乎作為平臺的社會責任感。
- 維護良好社區生態。知乎的良性可持續發展離不開良好、公平的社區生態,通過打擊作弊行為,可以減少其對流量分配機制的負面影響,從而提升平臺內創作者、用戶以及商業客戶的體驗。
- 提升平臺信譽。「知乎高贊」在行業內具有比較高的知名度,打擊刷量行為能夠進一步提升知乎高贊內容的可信度,助力知乎構建真實可信賴的品牌形象。
三、作弊治理思路
盡管反作弊業務場景多樣,但我們整體上采取了統一方針與靈活策略相結合的思路。大方向上的目標是實現風險控制,即提高黑產的作弊門檻,使作弊影響控制在可接受范圍內。
在防控鏈路上,通過風險感知、識別、分析、處置和評估五個核心環節,形成一個風控的良性循環(飛輪),并持續推動這一循環的運轉,以確保業務的健康穩定發展。
針對前面提到的三類刷量行為,依據其各自特點采取不同的應對策略。
機器刷量具有明顯的自動化、規模化和產業化特征,因此在對抗性和技術性上治理難度較高。對此主要在技術層面加強識別能力建設,并對機器賬號和行為從嚴處置。
真人眾包刷量表現出明顯的聚集性和行為趨同性,且參與者多為真實消費者,因此也具備一定的對抗性。針對這一特點,主要以威脅情報為基礎,溯源用戶的作弊鏈路,并對真人眾包賬號及其產生的行為實施梯度處罰機制。
抱團刷量同樣存在一定的聚集性,主要涉及平臺內較為活躍的創作者,使得此類問題的治理相對復雜。因此整體思路是「控制規模、減少影響」,重點打擊頭部作弊者,同時聯動用戶運營團隊進行引導,發布治理公告表達平臺態度。
四、刷贊治理實踐
反作弊工作是圍繞具體的業務場景展開的,風控解決方案需要與業務團隊聯動并落地實施。因此,對于業務需求會在需求確認階段進行介入,充分考慮各種風險因素,通過必要的業務流程和邏輯將風險控制在可控范圍內。
在風控階段,分為事前、事中和事后三個環節:
- 事前:主要部署防御性措施,解決大規模機器攻擊問題。
- 事中:是最主要的介入方式,在此環節會實時識別和處置作弊行為。
- 事后:主要包括評估、專項清查及反饋受理等運營工作。
此外,在方案的關鍵環節,我們還設立了一系列監控報警和評估機制,以保障能夠及時發現異常情況,并迅速做出響應。
風險感知是我們風控飛輪上的一個重要信號源。在這一環節,我們通過內外結合的方式挖掘和發現業務中的風險信號。
外部威脅情報方面,通過情報運營平臺自動抓取黑灰產信息,實時掌握黑產交易及輿情討論情況。此外,針對不同業務場景,我們制定了紅藍對抗測試方案,用于了解市場上主流的作弊手段,并作為評估當前反作弊效果的工具,確保及時查漏補缺。我們還會不定期開展專項調研或專題研究,深入分析某一類黑灰產的操作模式。
內部監測方面,基于內部各類業務數據、風控數據,建立風險主動感知能力。我們將數據異常抽象為三類:
- 波動:例如,回答贊同量出現非正常上漲。
- 偏離:檢查某些數據是否與整體大盤存在顯著偏差。
- 聚集:如特定時段內多個賬號集中刷贊行為。
在感知方式上,主要通過統計規則或算法實現監控,監控時機靈活,支持實時和離線兩種模式。
知乎業務場景多樣,以點贊事件為例,除了回答外,文章和想法也支持點贊功能,這些場景的作弊問題雖然高度相似,但在不同的點贊類型上可能有各自的特點或差異。因此,在風險感知指標管理上,采取「指標管理業務」的模式,將同一個指標賦給多個場景,各場景也可以基于自身特點構建其特有的指標,這種方式大幅降低了風險感知指標重復創建的問題。
在風險識別環節,實時風控是通過知乎「悟空」反作弊系統實現。具體流程如下:
- 數據層:當用戶發起點贊行為時,相關數據會實時接入風控系統。系統中設有專門的數據預處理模塊,負責對各類特征進行計算。
- 規則層:規則引擎或統計引擎進行數據分析與判斷,以識別潛在的風險行為。
- 處置層:基于上層計算結果做出各類響應動作,整個處理過程非常迅速,具備高時效性。
由于用戶點贊、關注等互動行為產生的數據流量較大,線上實時處置的需求也較高,為保證實時風控系統的正常運轉并保障用戶體驗,建立了配套的運營機制,確保系統的穩定性和高效性。
策略上線前,通過悟空系統的規則重放模塊對新策略進行歷史數據回溯,評估其召回準確率,這一過程有助于確保策略在上線前已經過充分驗證。
策略上線后,系統層面設有一系列防護機制和功能以應對潛在風險。例如,對于高召回率策略實施熔斷機制,以便及時中斷可能引起的大規模線上誤傷情況。
在整個策略運行期間,采用機器評估與人工評審相結合的方式,定期對策略體系進行全面評估,以及時發現并優化準確率不達標的策略,從而保持線上處置準確率的持續穩定。
除了實時風控之外,也同步建立了一系列離線風控措施,這也是整個風險識別過程中的重要環節,為實時風控提供了諸多基礎能力。對于離線風控,將從特征、模型和畫像這三個方面進行簡要介紹。
特征,作為一項基礎能力,主要作用包括:
- 直接提供結果,應用于策略、算法以及報警監控等多個環節;
- 進行對比,當前平臺可支持特征分布的可視化展示,同時為分析工具提供對比基線,幫助業務團隊快速做出判斷,從而解決以往在問題定性或策略設定閾值多依賴經驗的情況;
- 提供方法,平臺支持用戶自定義配置所需的各種特征,實現特征的共創、共享。
在特征管理方面,主要以用戶或內容等實體為切入點,針對其各自特點進行場景化分類。以用戶為例,按照賬號特征、消費行為、互動行為、創作行為及處罰記錄等類別進行場景化劃分,并在各個類別下不斷積累用戶特征。
模型方面,由于刷贊通常是「團體戰」而非「個人戰」,因此通過模型挖掘作弊團伙是一個重要步驟。團伙的本質是一些有關聯的個人或對象,因此,我們對關聯進行了兩類主要劃分。
一類是通過設備、IP 地址或手機號等資源進行關聯分析。這類屬于全場景關聯,會以用戶生命周期內注冊、登錄、支付、發文等核心行為為基礎進行關系構建。
另一類是社區發現,主要以單場景構建為主。以用戶或內容實體作為介質,基于他們的社交互動建立關聯。通過這種方式能夠識別出許多社區或關聯團伙,但這僅是初始環節,要確定團伙是否涉及作弊或違反社區規范,仍需疊加多種規則進行判斷,以確保結論的準確性和可解釋性。
最后要介紹的基礎能力是畫像。在行業內,許多同行可能會遇到畫像濫用或冗余的問題,在知乎反作弊的早期階段也曾面臨類似挑戰。因此在畫像系統升級時,首先確立了規范先行的原則,在畫像的創建、生產、消費及退場四個階段均制定了標準規范,以規避冗余或濫用的問題。
在畫像設計方面,按照業務風險域進行劃分,每個風險域下根據具體風險問題進行層級拆分,層級數最多4到5級。在各畫像節點創建時,內部委員會也會評估其合理性及是否符合業務場景需求。
由于畫像系統的生產者和消費者涉及眾多用戶,在生產和消費環節設置了相關監控機制,確保整個畫像體系持續健康并符合業務預期。
除了反作弊線上流程中使用的風險畫像外,一些活動準入、名單篩查等業務需求也會需要畫像輔助判斷,由于多是「一次性」需求,為了提升需求解決效率、降低分析成本,還將用戶畫像進行了產品化建設。從用戶的賬號信息、內容行為、交易記錄等多個維度進行了劃分,每個維度都有對應的風險定級,并對用戶輸出綜合風險評分,這使得用戶風險定性不僅可量化,還具備較高的解釋性。
反作弊團隊除了做上述體系、能力建設外,日常的反饋處理、異常分析等運營工作也占據重要部分,由于這類工作的開展對分析工具有較高的需求,因此我們設計了「場景x角色」的綜合分析平臺。
例如,在刷贊分析場景下,至少涉及三類角色:點贊用戶、被贊內容及其創作者,現有的綜合分析平臺能夠針對上述三類角色提供快速定向分析。
分析工具會具備以下特點:
- 時效性:由于對反饋案例需要快速響應并給出結論,因此時效性需要優先保障。
- 批量分析:鑒于需處理大量案例,平臺應運而生地具備了批量查詢和分析的能力,以提升日常分析效率。
- 可視化:考慮到反作弊工作需要 7×24 小時響應,我們引入審核團隊進行協作支持,為降低大家對風控指標及數據的理解成本,在分析工具的可視化方面也做了諸多的探索與實踐。
以下是一個具體的案例:在分析用戶點贊行為時,通常需要基于埋點日志對用戶行為路徑進行溯源,目前分析工具可以支持使用者了解:誰、使用了什么資源、在什么時間、從哪個入口、做了什么動作等,從用戶視角復現其完整路徑。
對于識別出的作弊行為或用戶,設立了配套的處罰機制。針對不同角色,會依據其嚴重程度采取相應的梯度處置措施。此外,對于處置執行也設有隨機延遲,防止黑產測出風控策略。
然而,對作弊問題實施嚴格處置僅是一種手段,而非最終目的。處置之外,更重要的是需要讓用戶知曉其違反了社區規則、如何規范自身行為,因此規則的透傳和用戶運營是處罰機制的重要組成部分。
規則透傳工作主要從三個方面展開:
- 社區規范:在社區規范中明確規定平臺不允許的作弊方式及相應的處罰措施。
- 系統通知:對于被封禁或警告的用戶,通過系統通知明確告知處置原因及具體措施,并提供申訴渠道。
- 治理公告:通過「知乎小管家」對外發布各類治理公告,以表達平臺對作弊問題的治理態度。
用戶運營方面主要包括及時受理用戶的舉報或申訴。此外,知乎也有專門的運營團隊向創作者宣貫平臺規范,幫助他們了解平臺規則,避免違規行為的發生。
經過上述各個環節的探索與實踐,知乎在刷贊治理方面取得了一定成效。黑產在知乎刷贊的價格呈上升趨勢,表明反作弊打擊在一定程度上提高了黑產作弊成本。右側圖表展示了近期針對某一類刷贊問題開展專項治理前后的數據對比,經治理后刷贊行為的發生率顯著下降,達到了降低作弊行為影響的目的。
五、反作弊感悟
最后,分享兩點關于反作弊工作的感悟:一個是“平衡”,另一個是“因時制宜”。
反作弊工作并非簡單處理二元問題(即0和1的問題),隨著作弊方式的變化,如何確定作弊邊界是一個經常遇到的難題。邊界的確立不僅影響平臺治理的效果,還可能引發用戶體驗、效率與成本之間的沖突。因此,這是一個持續探索和維持平衡的過程。
第二個關鍵詞是“因時制宜”。業務發展是動態的,伴隨業務場景變化,所遇到的作弊問題也在不斷演變。同一類型的作弊問題,在不同的業務發展階段可能需要采取不同的治理方案。很多時候,并不存在絕對唯一的最優方案,選擇最適合當前情況的方案才是最佳策略。
六、Q&A
Q:在進行用戶行為定性時,如何判斷該行為是正常還是異常?在這一過程中有哪些規范或標準,或者有哪些經驗可以分享?
A:首先,在識別異常行為時,需要區分具體的場景。例如,刷贊和刷關注可能有不同的特征。雖然行為違規很難像內容違規那樣有「可見性」,但是也需要有基本定性原則,針對不同場景,我們會設定了初步的、較為粗略的標準。在評估行為時主要采用以下幾種思路:
- 交叉驗證:通過用戶在其他已確認違規場景中的行為,或其在其他特征上的異常表現來驗證當前場景的行為是否異常。這種交叉驗證有助于提高判斷的準確性。
- 還原場景:對于行為類分析,還原具體場景非常重要。我們會將用戶的某次點贊行為置于其點贊時的具體內容環境中進行全面考量。例如,分析該內容的其他點贊者是否與該用戶存在相似特征或其他顯著特征,從而從內容維度對一群用戶進行綜合定性。通過這種方式,能夠更準確地對單個用戶的行為做出判斷。