全面、高效的實現互聯網P2P視頻節目管理
【51CTO.com 綜合報道】P2P的發展概況
信息網絡傳播視聽節目, 是互聯網等信息技術迅速發展而形成的新型視聽節目傳播方式,它使視聽節目的廣泛傳播不再單純依賴于傳統的廣播電視傳輸網絡,從廣電部門管理角度講互聯網視音頻站點已經成為一種新型的播出機構。
但是隨著P2P技術的成熟,并且廣泛應用到視頻共享和在線直播/點播視頻節目上,使用P2P技術已經成為互聯網視頻文件傳播的主流方式。由于P2P視頻節目在技術實現上不同于以往的互聯網視頻節目,技術實現難度大,使用的協議復雜多樣,而且視頻節目源的傳播多為網民的個人行為,節目的傳播方式更加隱蔽,節目的內容更具危害性,加之網站的審核力度不大,給互聯網節目的監管帶來了更大的挑戰,一些違規傳播視聽節目的P2P網站,為了屏蔽相關部門的監管,使用頻繁更換域名和服務器地址、登錄驗證、限制用戶權限、隱藏節目源鏈接等方式,來逃避程序對網站的自動監控,這就需要我們采用更加具有針對性的手段來獲取這些節目的信息。
上述種種問題表明,P2P網絡廣播電視聽節目監管是一項全新的管理任務,需要全新的管理手段。必須建立功能強大的監管系統,才有可能及時了解P2P網絡視聽節目的傳播情況,也才有可能及時對問題做出處理。
實時的監管平臺
深圳市任子行網絡技術有限公司針對以上問題,鼎力研制出面向P2P的網絡廣播電視節目源監管系統,通過對境內利用BT、電驢等P2P協議進行文件共享和傳播的重要互聯網網站和論壇(以下簡稱P2P文件共享網站)的搜索和跟蹤,對網站上的視聽節目源發現、定位和傳播追蹤等功能。
主要目標包括:
◆ 及時發現境內互聯網上的P2P文件共享網站;
◆ 對主要P2P文件共享網站上的種子和鏈接進行全面、周期性搜索和跟蹤,發現共享的視聽節目文件,并進行定位和傳播跟蹤,統計網站相關信息和視聽節目文件資源信息;
◆ 對視聽節目進行判別、分類和聚類,發現有害和違規節目進行報警,并進行重點定位、追蹤、下載取證;
◆ 發現新增節目和熱點節目,及時掌握網上傳播動態;
◆ 建立P2P節目數據庫,支持對視聽節目信息的在線和離線查詢,為管理部門提供有力的數據支持。 #p#
靈活的查詢方式
任子行研制的該系統能提供靈活的查詢方式,使用戶可以方便地獲取系統所采集到的各類信息,并在各類信息的基礎上進行統計分析,使用戶能獲取各類統計分析結果,能了解P2P文件共享信息的詳細和綜合信息,是整個項目中用戶了解各種應用發展趨勢的關鍵功能模塊。例如:
◆查看所有P2P文件共享發布站點列表;
◆查看當日TopN P2P文件共享發布站點(BT、eDonkey/eMule發布網站)熱度排名;
◆查看當日TopN種子/鏈接熱度排名;
◆查看當日新增種子/鏈接列表;
◆查看當日新增發布站點列表;
◆查看當日新增種子/鏈接黑名單(黑名單獲取詳見網絡監控部分);
◆查看當日新增網站黑名單;
◆查看當日活躍用戶列表(包括活躍度、共享資源數、擁有敏感資源數3種排名列表);
◆查看當日資源、敏感資源傳播的骨干節點列表;
◆查看特定發布站點的相關信息,包括網站域名、IP地址、ICP/ISP備案信息、聯系人、聯系方式及服務器所在具體省市等;
◆查看特定節點的信息,包括其共享的資源清單;
簡單查詢特定種子的相關信息,如所在發布服務器或tracker服務器信息、種子節點的信息(數量、IP地址及地理位置)、下載節點的信息(數量、下載進度、IP地址及地理位置)、做種時間、種子對應的文件信息(文件名、文件大小、文件類型、圖片及簡介等);
除了返回的節目表單外,用戶還可以選中每一個節目源查看詳細信息。如Tracker列表、文件清單等。當用戶選中一個種子后,可以啟動BT在線節點收集程序來收集這個種子的在線節點。
◆簡單查詢特定文件的相關信息,如發布節點的信息(數量、IP地址及地理位置)、下載節點的信息(數量、下載進度、IP地址及地理位置)、發布時間、文件對應的文件信息(文件名、文件大小、文件類型、圖片及簡介等);
◆復合條件查詢特定種子/文件或發布站點:根據關鍵字、創建時間、熱度閥值、發布站點、發布源IP地址等信息進行復合查詢;
◆分類顯示所有視聽資源:根據數據分析中的粗分類,以及視聽資源的實際分類來顯示節目清單,如電影、動漫、綜藝、情感等類型,并對疑似非法的節目進行標注,管理員點擊某一分類,就可以查看符合這一分類要求的節目清單。
注:以上功能分別針對BT、eDonkey/eMule協議。 #p#
全面的網絡管理
P2P文件共享監控的功能主要是對疑似違規種子和文件進行相關處理,主要包括報警、下載存儲、非法資源遏制等功能。
(1)報警
對于疑似違規的種子、文件系統會作出預警,向用戶提供疑似違規種子和文件清單,并可查詢相應的詳細信息。系統也根據相關信息,對發出預警的種子和文件做排序,以便用戶對信息進行確認得到黑名單,并關聯至網站黑名單。
(2)下載存儲
對疑似違規的種子和文件由管理員選擇下載存儲相應的文件,選擇的方式包括對疑似違規的前N個資源進行存儲,或用戶手動選擇存儲內容。
在對種子或文件進行下載存儲的同時,也對相關信息進行存儲,以便對信息源進行追蹤,起到一定的取證功能。同時進行存儲的相關信息包括:種子源鏈接、歷史Seeder、疑似違規種子所在網頁的下載存儲以及取證時間、疑似違規網頁所在網站的ISP/ICP、違規文件下載存儲以及取證時間、違規內容的存儲及播放、違規文件的還原。具體含義及完成情況如下:
◆種子源鏈接 系統會自動記錄每一個種子的下載源頭,以供用戶查閱
◆熱度資源擴散監控
該功能會定時(用戶可以自行設置時間周期)自動啟動數據收集程序,收集特定資源的Peer列表,獲取特定時間下載進度達到過100%的Peer的IP地址和地理位置、下載Peer的數量等統計信息,從而對特定資源的擴散速度、擴散范圍、擴散程度等詳細信息進行掌握。
例如,對于某一種子A,第一次收集,有一個Peer達到過100%的下載進度,IP地址202.102.x.x,位置北京,第二次沒有Peer達到過100%的進度,第三次兩個peer達到100%的下載進度,則系統會向用戶提供一個統計報表,分別展示在每次信息采集時的下載Peer總數,完成下載的Peer數量和其詳細信息。
該功能可以很直觀地了解特定資源的擴散情況,以便為管理者提供分析、決策依據。
◆疑似違規種子的下載情況
用戶可以關注疑似違規種子的下載情況,反映違規節目的擴散速度和范圍,當用戶需要使用時可以將其調出顯示、打印,并可以根據歷史數據統計分析圖了解特定種子的擴散情況。
在違規種子中,下載進度超過90%的高威脅做種源以及100%的完全做種源應該被特殊標注。
◆疑似違規種子所在網頁的下載存儲以及取證時間
除了將歷史下載人員和做種人作為證據存儲外,疑似違規種子的源鏈接頁面也會在種子分析和判定后自動下載以及存儲。
◆疑似違規網頁所在網站的ISP/ICP
在下載了疑似違規種子的鏈接頁面后,傳播該種子的所在網站的ISP/ICP信息也將被記錄。有些網頁在未下載種子前就已經帶有違規信息,如反動,色情這樣的網站也會被記錄ISP/ICP信息。
◆違規文件下載存儲以及取證時間
在獲取了違規種子的下載人列表以及源鏈接頁面后,另一個重要證據就是疑似違規文件的下載以及存儲。在下載違規文件的同時,將記錄文件的取證時間。
◆違規內容的存儲及播放
作為違規種子取證的最后一步,將提供用戶違規文件的下載和播放功能。
◆違規文件的還原
除了將違規種子,違規種子的源鏈接頁面,違規文件下載到本地硬盤作為證據以外,系統還將提供違規文件種子的還原功能。如果還原而成的種子與相應的違規種子完全一致,可以作為一項抗抵賴證據使用。#p#
拓展的信息資源
系統的硬件設備按照功能進行劃分,后續可根據系統運行的數據、性能及功能擴展的需求,方便地進行擴展,從而最大化地優化投資。同時,可以在系統內部安裝病毒安全防護軟件,抵御外部病毒和網絡攻擊。
◆ 調用GIS顯示特定信息的擴散源頭、網絡拓撲;
◆ 通過對熱點網站的監控,以曲線圖形的形式顯示指定網站的歷史信息;
◆ 對一些突發的熱點網站進行預警;
◆ 通過熱點種子、鏈接的監控,以曲線圖形的形式顯示指定熱點種子、鏈接的歷史信息.
◆ 查看特定節點的資源清單、以及該節點擁有資源的變化情況。
詳細的地理信息顯示
地理信息顯示(GIS)模塊提供直觀的地理位置、拓撲結構展示,可以直接定位服務器(可以詳細定位服務器所在機房)、節點的地理位置,并展示節點分布密度,使用戶所關心的信息直觀、清楚。該部分包括全世界及中國的與地理位置相關的信息展示。
(1)給定種子、鏈接、節目的發布者、下載者GIS顯示
◆在世界地圖中,顯示給定種子、鏈接、節目的發布者、下載者分布;
◆在中國地圖中,顯示給定種子、鏈接、節目的發布者、下載者分布;
◆在世界地圖中采用兩級顯示,即“洲-國家”模式(例如:亞洲-中國);
◆在中國地圖中,按照省和直轄市進行兩級顯示,對直轄市采用“市-區”模式(例如:北京市-東城區),對省采用“省-市”模式(例如:四川省-成都市);
◆地圖的放大、縮小等操作;
◆對給定種子的發布者、下載者分布進行拓撲分析,在P2P網絡中無論是發布者還是下載者都是Peer,針對Peer下載和上傳可分成三類:只下載的Peer、只上傳的Peer和即上傳又下載的Peer三類。為了表示它們的拓撲結構,使用三種不同的顏色對上述三種Peer進行標識;
在世界地圖和中國地圖中,選擇點的信息提示。選擇點由單個網站構成則信息URL、IP地址和地理位置;若選擇點由很多網站構成顯示網站個數和地理位置。
直觀的日志管理
日志系統記錄記錄系統的所有操作日志,增強系統的安全性。系統管理員可以通過分析日志及時的發現網站中的問題。
良好的應用效果
深圳市任子行網絡技術有限公司針對廣電部門互聯網視聽節目管理需求,于2004年成功開發了《公共信息網絡視音頻節目監控系統》。在這幾年,系統已在廣電總局、廣東、浙江、江蘇、東北、福建等十幾個節點應用,得到用戶廣泛好評。我們長期關注音視頻節目搜索和監控,在互聯網音視頻節目監控方面有多年的經驗積累,致力幫助全國各地更多的廣電管理部門更加規范的實現網絡信息的有效管理。