【51CTO.com原創稿件】近日，51CTO記者采訪了Akamai中國區企業事業部總經理何銘及Akamai大中華區產品市場經理劉炅，就惡意爬蟲攻擊演進、危害以及如何防御等話題進行了深入交流。

什么是爬蟲?

首先，我們來解讀下，什么是爬蟲(BOT)?BOT，意為搜索引擎抓取機器人，也稱爬蟲。互聯網中的數據是海量的，如何自動高效地獲取互聯網中我們感興趣的信息并為我們所用是一個重要的問題，而爬蟲技術就是為了解決這些問題而生的。

“其實，在互聯網流量中，有40%的流量是爬蟲的流量。當然，爬蟲有好有壞，善意的爬蟲主要用于網絡索引、內容聚合以及提取市場或價格信息。而惡意的爬蟲由惡意攻擊者操縱，用于針對所有行業、地區和渠道的Web內容搜刮、交易欺詐、垃圾郵件以及DDoS和撞庫攻擊。針對這些爬蟲，企業機構需要進行識別和管理，進行有效防范。”劉炅說道。

惡意爬蟲是一種自動化的惡意軟件，通過遠程互聯網對目標站點進行攻擊，以達到商業欺詐的目的。常見的攻擊方式有憑證濫用、賬戶濫用、銀行卡攻擊、庫存囤積、薅羊毛。憑證濫用類攻擊是撞庫攻擊最主要的方式，它將從黑市上獲取的大量用戶數據和賬戶信息在不同的網站進行登錄嘗試，從而得到有效賬戶，最終把這些賬戶非法販賣給其他人。賬戶接管或稱為賬戶盜用是另一種撞庫攻擊的常見類型，指對包括電商、游戲賬戶在內的互聯網賬戶的盜取。這種攻擊通常也是通過登陸嘗試或蠻力手段得到賬戶，在接管賬戶后進行信息竊取或進一步攻擊。

[[323569]]

Akamai大中華區產品市場經理劉炅

爬蟲攻擊的演進歷程

回顧爬蟲攻擊的演進歷程，劉炅將其劃分為四個階段：

最開始，爬蟲比較簡單，都是通過單IP或者是極少的IP搭建一個惡意攻擊點。此外，針對客戶端攻擊的惡意軟件也比較簡單，均是采用命令行的攻擊方式。在這個階段，外部瀏覽器還沒有Cookie值，也沒有添加Script的可執行腳本。所以防護這些爬蟲比較簡單，企業在找到攻擊源后實施訪問控制(采取黑名單限制等手段)，就可以進行防護。

第二階段，隨著瀏覽器引入Cookie功能和具備Script腳本執行能力，爬蟲采用簡易瀏覽器實施攻擊，因而此前簡單的防護方式已經無法識別爬蟲。相應地，防護手段需要加入對Script值的驗證等能力(包括JS變量的驗證)來探測攻擊端瀏覽器的真假。

第三階段，此時的爬蟲攻擊基于真實瀏覽器，并開始模擬人的行為，因此企業需要更進一層的檢測方式。比如，Akamai的Bot Manager Premier(爬蟲管理器)產品可以通過鍵盤敲擊、鼠標滑動等操作來有效識別爬蟲流量。

第四階段，也是現在所處階段的特點是爬蟲攻擊點呈現分布式、且可利用更多的僵尸網絡發起攻擊，從而導致企業對爬蟲流量的判斷更加困難。其次，爬蟲也在模擬更多的真實人類行為，因此對爬蟲的攻擊檢測和防護模式需要采用機器學習等技術加以識別。

[[323570]]

Akamai中國區企業事業部總經理何銘

“三年前，我發現大部分中國客戶對爬蟲沒有特別的概念，且對爬蟲危害的認識較淺。但從2018年開始，Akamai的中國客戶基本上都采取了多種反爬蟲手段。由此可見，國內企業對爬蟲危害的認識提升很快。”何銘也回憶并舉例說，“很多年輕人喜歡購買限量款鞋子，因此品牌網站需要通過搖號排隊的方式才能售賣。但是黑客可以使用爬蟲來瞬間預定所有限量款鞋子，從而轉售盈利。類似的案例還有很多，侵占、搶占庫存，甚至發動DDoS攻擊堵塞網絡，而很多小網站是經受不住這種打擊的。所以，從2018年開始，各個行業對爬蟲管理越發重視。”

同時，何銘也注意到了另外一個現象：在對惡意爬蟲管理更加重視的同時，很多網站開始引入善意爬蟲，通過內嵌搜索引擎來促進物品銷售。“這也是現在爬蟲管理市場值得注意的方向。我們需要阻止惡意爬蟲、放行善意爬蟲，一刀切地阻止所有爬蟲會影響企業商品銷量和業務。”

爬蟲攻擊次數居高不下，手段日益復雜

談及近年來爬蟲攻擊的趨勢，劉炅告訴記者，憑借每日交付超過50 Tbps的Web流量，Akamai對互聯網上的攻擊流量有著極大的可視性，特別是對于爬蟲攻擊趨勢的研究。據Akamai今年二月發布的《2020年互聯網安全狀況報告：金融服務——惡意接管嘗試》，爬蟲攻擊呈現出以下趨勢：

第一，攻擊次數居高不下。在報告統計的約兩年內，Akamai共發現了超過850億次攻擊，日均攻擊量達到1.2億次之多。

第二，攻擊手段越發復雜。攻擊者會通過多合一的工具、利用僵尸網絡發起分布式攻擊。鑒于當前API協議的廣泛使用，攻擊者便利用API的自動化特性、采用API作為主要攻擊手段。Akamai發現近20%的憑證濫用攻擊都是基于API的登錄方式。

第三，金融業已成為攻擊重災區。根據Akamai的數據，在針對金融服務業發起的撞庫攻擊中，高達75%的攻擊直接以API為目標。

何銘表示：“其實各行各業都會受到爬蟲攻擊，零售業是受到爬蟲攻擊最為嚴重的行業之一，除此之外，爬蟲攻擊的主要目標還包括媒體、金融、酒店及旅游業。在零售業中，服裝類、電商門戶類以及百貨類的網站更易遭到爬蟲攻擊。”

Akamai和Ponemon Institute的聯合研究顯示，由爬蟲引起的“撞庫”攻擊每年會給企業帶來高達270萬美元的損失。爬蟲攻擊給企業造成的損失可見一斑。

抵御爬蟲攻擊，Akamai一直在行動

那么，究竟該如何應對爬蟲攻擊?何銘認為：“對于爬蟲的管理，企業首先要做的是甄別，包括規則和策略的制定。”以電商行業為例，電商網站構建起來較為復雜，一方面需要第三方爬蟲的支持來實現引流、實現讓用戶能夠訪問庫存，保證在庫存充足的前提下銷售產品。同時，也要防范競爭對手惡意爬取其庫存信息，搶走庫存而影響對外銷售。因此，企業IT團隊既要識別惡意爬蟲、進行阻擋，又要甄別出善意爬蟲、予以放行，還要做好DDoS攻擊等防護工作。

隨著爬蟲攻擊方式的演進，Akamai爬蟲管理產品和解決方案也在不斷升級迭代。就在三月，Akamai對爬蟲管理產品進行了升級，全面提升攻防能力。具體而言，實現了更多更精準的爬蟲檢測方法，加入了POW(Proof of Work)挑戰檢測方法;基于人工智能的威脅評分機制，根據分值可實施部署靈活的防護策略;增加更多場景支持，尤其對于跨域場景的支持，為了使跨域請求的檢測更加精準，Akamai定義了新的攻擊檢測方式，從而擴展更多的應用防護場景;另外實現了與真實用戶監控(RUM)頁面性能檢測產品集成，分析和判斷爬蟲對業務性能的影響，并進行可視化管理。

今年二月，Forrester發布了“Forrester New Wave™：2020年第一季度爬蟲程序管理評估”報告，并認定Akamai為“領導者”。顯然，這是對Akamai爬蟲管理能力的充分肯定。目前，無論是從產品功能特性還是市場占有率上，Akamai在爬蟲管理界都處于前列。從最初單一的IP攻擊到模擬瀏覽器和人類行為，爬蟲的攻擊方式不停變化。鑒于此，Akamai針對爬蟲的檢測方案也是多種多樣，包括IP攔截、速率控制、Cookie和Java參數檢測以及用戶行為的深度分析。而對于爬蟲的緩解方案，除了最基本的監控和攔截，Akamai還會進行限速、延緩和疏導。

“有的企業希望一、兩天就能實現對爬蟲的管理，這是不現實的。但爬蟲管理解決方案部署過程的快慢，仰仗于安全廠商在業內的技術沉淀和經驗積累。高效的爬蟲管理需要長期積累的經驗和能力。一旦客戶選擇了Akamai，我們就可以立即開啟甄別模式、預警模式，快速進入策略的制定和防護的開啟，這也是Akamai引以為豪之處。”何銘表示，據某電商客戶反饋，在部署Akamai爬蟲管理解決方案一段時間后，他們發現自己網站的大部分流量都是爬蟲流量，而以前他們對此根本沒有感知。此外，他們在部署Akamai方案前對爬蟲攻擊流量的發現率大概為10%，但部署后的識別率達到約99%。

綜上可以看出，由于與生俱來的邊緣屬性和優勢，Akamai的爬蟲管理解決方案可以很好地應用于多種環境，包括用戶本地的數據中心和多云環境中的防護場景。Akamai的爬蟲防護方案并非一個單點方案，而是一個分層次的、全棧的防護方案，即從DDoS和網頁防護到爬蟲管理乃至API攻擊都可進行防護。基于邊緣的安全能力，Akamai提供了一整套防護解決方案來幫助企業抵御目前最復雜的網絡攻擊。

【51CTO原創稿件，合作站點轉載請注明原文作者和出處為51CTO.com】