萬萬沒想到,我的“五一”特價(jià)機(jī)票是從爬蟲手里買的
4 月 26 日,周五,宜出行,忌上班。
有些人的“五一”假期來得比法定放假早,比如雷鋒網(wǎng)編輯。。。隔壁的媒體同行,他居然告訴我,自己已經(jīng)無心上班,思想比身體先一步開啟了假期模式。
然后他掏出手機(jī),炫耀了一把搶到的特價(jià)機(jī)票。
噢,你要說到特價(jià)機(jī)票,那就是戳到我的業(yè)務(wù)點(diǎn)了,讓網(wǎng)絡(luò)安全科普作者小李分析一下特價(jià)機(jī)票可能是怎么來的吧!
一個(gè)很大的可能性是,你是從爬蟲二道販子手里買的!
爬蟲占座
發(fā)布“關(guān)于調(diào)整2019年五一勞動節(jié)假期”的通知幾十分鐘后,各個(gè)航空公司的 B2C 網(wǎng)站和旅游網(wǎng)站的機(jī)票查詢量暴增,其中國際航班增長了 10 倍。在暴增的機(jī)票查詢數(shù)據(jù)背后,有普大喜奔的人民群眾,更有非法代理人操控的惡意“爬蟲”。
原來,部分航空服務(wù)代理人通過“爬蟲”非法抓取航空公司 B2C 網(wǎng)站或官方 App 等平臺上的機(jī)票信息,然后非法倒賣給他人以牟取利益。
為了搞清楚這個(gè)惡意爬蟲是怎么爬取特價(jià)機(jī)票信息,再化身二道販子牟利,編輯特意請教了有反爬蟲實(shí)戰(zhàn)經(jīng)驗(yàn)的頂象公司,據(jù)說,最近他們協(xié)助警察蜀黍端掉了一起爬蟲案,這個(gè)涉案的山東某機(jī)構(gòu)專門爬取各大航空公司票務(wù)數(shù)據(jù)倒賣給其他中小代理人(該機(jī)構(gòu)的業(yè)務(wù)已被關(guān)停)。
他們是怎么開啟神(違法)操作的?
部分代理人利用“爬蟲”爬取下票務(wù)信息后,再利用虛假的身份信息預(yù)訂機(jī)票,但不付款。然后,在航空公司允許的訂票賬期內(nèi),他們把這些機(jī)票轉(zhuǎn)售給真正需要購票的用戶。
在轉(zhuǎn)售之前,這就導(dǎo)致部分機(jī)票并未售出,但是用戶在航空公司查看時(shí)卻顯示已售罄,該行為稱之為“虛假占座”。
惡意爬蟲“長什么樣”
怎么判斷“占座”的不是普通用戶而是爬蟲黨呢?
惡意“爬蟲”有這么幾個(gè)特征:
1、訪問的目標(biāo)網(wǎng)頁比較集中:“爬蟲”代理人目標(biāo)明確,主要是爬取班次、價(jià)格、數(shù)量等核心信息,因此只瀏覽訪問幾個(gè)固定頁面,不訪問其他頁面。
2、查詢訂票等行為很有規(guī)律:由于“爬蟲”是程序化操作,按照預(yù)先設(shè)定的流程進(jìn)行訪問等,因此呈現(xiàn)出毫無思維、但很有規(guī)律、有節(jié)奏且持續(xù)的行為。
3、同一設(shè)備上有規(guī)?;脑L問和操作:“爬蟲”的目的是最短時(shí)間內(nèi)抓取最多信息,因此同一設(shè)備會有大量離散的行為,包括訪問、瀏覽、查詢等。
4、訪問來源IP地址異常:正常情況下用戶在查詢、購買時(shí),用戶的 IP 地址比較穩(wěn)定,如果是“爬蟲”“虛假占座”,IP 來源地址呈現(xiàn)不同維度上的聚集,而瀏覽、查詢、購票等操作時(shí)不停變化 IP 地址。
5、設(shè)置UA模擬瀏覽器和頻繁使用代理 IP :很多“爬蟲”程序偽裝成瀏覽器進(jìn)行訪問,比如在程序頭或者UA中默認(rèn)含有類似python-requests/2.18.4等固定字符串;并且通過購買或者租用的云服務(wù)、改造路由器、租用IP代理、頻繁變更代理 IP 等進(jìn)行訪問。
6、操作多集中非業(yè)務(wù)時(shí)間段:“爬蟲”程序運(yùn)行時(shí)間多集中在無人值守階段。此時(shí)系統(tǒng)監(jiān)控會放松,而且平臺的帶寬等資源占用少,爬蟲密集的批量爬取不會對帶寬、接口造成影響。以下是頂象反欺詐中心監(jiān)測到,凌晨1-5點(diǎn)是惡意“爬蟲”的運(yùn)行高峰時(shí)段。
誰的利益受損
“虛假占座”看上去只是讓薅羊毛的正常用戶買不上機(jī)票而已,對航空公司有什么影響嗎?(賣給誰不是賣?)
當(dāng)然有!
大家想一想,首先,惡意“爬蟲”的虛假身份信息是從哪里來的,這里是不是有用戶信息的泄漏?
第二,這種虛假占座浪費(fèi)了航空公司帶寬資源,白白消耗航空查詢費(fèi)用,擾亂了航空公司的正常運(yùn)營。
第三,更關(guān)鍵的是,由此帶來訂票量的波動導(dǎo)致航空公司收益管理系統(tǒng)算法產(chǎn)生誤判,給出不符合實(shí)際情況的運(yùn)價(jià)調(diào)整,損傷了用戶權(quán)益以及平臺的口碑。
也就是說,從爬蟲二道販子手里買到特價(jià)機(jī)票一時(shí)爽,長期下來還是普通用戶買了單。
雷鋒網(wǎng)注:該文核心觀點(diǎn)及分析來源于微信公眾號“頂象業(yè)務(wù)安全”,作者:小象,雷鋒網(wǎng)(公眾號:雷鋒網(wǎng))經(jīng)授權(quán)轉(zhuǎn)載及改編。指路原文:《你購買的“五一”機(jī)票 可能是“二手”轉(zhuǎn)售》。
本文轉(zhuǎn)自雷鋒網(wǎng),如需轉(zhuǎn)載請至雷鋒網(wǎng)官網(wǎng)申請授權(quán)。