大數文摘出品

編譯：高延、熊琰、胡笳、蔣寶尚

“你喜歡旅游嗎?”

這個簡單的問題經常會得到一個積極的回復甚至還會額外收到一個或兩個冒險的故事。通常來講，旅行是一種體驗新文化和拓寬自己視野的好方法。

但如果把問題換成“你喜歡查機票的過程嗎?”，我敢肯定大家的反應一定會不那么熱情......

那么，用Python解決你的難點吧!本文作者Fábio Neves，一位資深的商業數據分析師將會帶你建立一個網絡爬蟲項目，幫助我們找到最優惠的價格!

具體做法是對特定目的地以及靈活的日期范圍(根據你選擇的日期前后最多3天)進行航班價格搜索。

搜索結果保存到一個excel中并為你發送一封展示快速統計信息的電子郵件。顯然，最終的目的是幫助我們找到最優惠的價格!

如果你真的想試試，你可以在服務器上執行這個腳本(一個簡單的Raspberry Pi就可以(注：Raspberry Pi樹莓派又稱卡片式電腦，外形只有信用卡大小，運算性能和智能手機相仿。So大家在自己筆記本電腦上折騰就足夠了。。))，并且每天運行一次或兩次。它會將檢索結果以郵件的形式發給你，我建議將excel文件保存到Dropbox云端，這樣你就可以隨時隨地訪問它。

注：Dropbox是一個類似于百度云的云端服務

我還是沒找到任何錯誤低價票，但我想還是有可能的!

它會根據“彈性日期范圍”進行檢索，以便查找你首選日期的前后最多3天的所有航班。盡管該腳本一次只適用于一組from/to目的地，但你可以輕松地調整它在每個循環內運行多組行程目的地。你甚至可能最終找到一些錯誤低價票......簡直棒極了!

爬蟲腳本

當我第一次開始做網絡爬蟲時，我對這塊并不特別感興趣。我本想用預測建模，財務分析和一些情緒分析來做更多的項目，但事實證明，弄明白如何構建第一個網絡爬蟲是很有趣的。隨著我不斷學習，我意識到網絡抓取是互聯網運轉的精髓。

[[267061]]

是的......就像Larry 和 Sergey一樣，在啟動爬蟲程序后去盡情享受按摩浴缸吧!

你可能認為這是一個非常大膽的想法，但如果我告訴你谷歌就誕生于Larry 和 Sergey通過Java和Python寫的爬蟲程序呢?谷歌通過爬取整個互聯網來試圖為你的問題提供最佳答案。有非常多關于網絡爬蟲的應用程序，即便你更喜歡數據科學中的其他主題，你仍然需要一些爬蟲技能來獲取想要的數據。

Python可以來拯救你

第一個挑戰是選擇從哪個平臺抓取信息。這其實并不容易，但我最終選擇了Kayak。決定之前我嘗試了Momondo，Skyscanner，Expedia等等，但這些網站上的驗證碼部分真的是讓人抓狂。經過幾次嘗試選擇交通信號燈，人行橫道和自行車的這種“你是真人嗎”的檢查后，我的結論是Kayak是目前最好的選擇，即使它在短時間內加載太多頁面時也會拋出安全性校驗。

我設置機器人以4到6小時的間隔來查詢網站，這樣就不會有問題了。在這里和那里偶爾可能會出現卡殼中斷現象，但是如果你遇到驗證碼校驗，那么你需要手動進行驗證碼認證，確認完畢后再啟動機器人程序，然后等待幾個小時它就會重置。你也可以隨意將這些代碼應用到其他平臺，歡迎你在評論部分分享你的應用!

如果你是個爬蟲新手，或者還不了解為什么有一些網站總會設置各種障礙來阻止網絡抓取，那么在寫第一行爬蟲代碼之前，請你先閱讀了解一下谷歌“ 網絡抓取禮儀 ”。如果你像瘋子一樣準備好了開始網絡抓取，你獲得努力成果可能會比你想象的要快得多。

網絡抓取禮儀 ：http://lmgtfy.com/?q=web+scraping+etiquette

請系好安全帶……

打開chrome標簽頁后，我們將定義一些在循環內使用的函數。關于整體結構的大致想法是這樣的：

• 一個函數將啟動機器人，聲明我們想要搜索的城市和日期。
• 此功能獲取第一批搜索結果并按“最佳”航班進行排序，隨后點擊“加載更多結果”。
• 另一個函數將抓取整個頁面，并會返回一個dataframe數據集
• 重復步驟2和3獲取“最便宜”和“最快”的排序結果。
• 電子郵件將價格的最終結果(最便宜和平均值)發送給你，并且將三個排序(價格、時間、整體最佳)的數據集保存為一個excel文件
• 前面的所有步驟循環重復，每隔X小時運行一次。

OK，每個Selenium項目都將以webdriver作為開頭。我用的是ChromeDriver，當然還有其他選擇。比如，PhantomJS或Firefox也很受歡迎。webdriver下載好之后，將其放在一個文件夾中就可以了。代碼的第一行將會自動打開一個空白的Chrome標簽頁。

請注意，我不是在這里開辟新天地，或是提出一種非常具有開拓性的創新。當下確實已經有更先進的方法來尋找便宜的票價，但我希望我的這個帖子可以跟大家分享一些簡單而實用的東西!

這些是我用于整個項目所引用的包。我將使用randint來讓機器人在每次搜索之間隨機停頓幾秒鐘。這是所有機器人所必備的功能。如果你運行了前面的代碼，則需要先打開一個Chrome網頁窗口作為機器人檢索的入口。

所以，先讓我們來快速測試一下，在新網頁打開kayak.com。選擇你要飛往的城市和日期。選擇日期時，請務必選擇“+ -3天”。我已經編寫了相關的代碼，如果你只想搜索特定日期，那么你需要適當地進行一些調整。我將盡量在整個文本中指出所有的變動值。

點擊搜索按鈕并獲取地址欄中的鏈接。這個鏈接應該就是我在下面需要用的鏈接，在這里我將變量kayak定義為url并調用webdriver的get方法。你的搜索結果接下來應該就會出現了。

每當短時間內多次使用get命令的時候，系統就會跳出驗證碼檢查。你可以手動解決驗證碼問題，并在下一個問題出現之前繼續測試腳本。從我的測試來看，第一次搜索運行似乎一切正常，所以如果你想要用這段代碼，并且讓它們之間保持較長的執行間隔，就可以解決掉這個難題。你并不需要每10分鐘就更新這些價格，不是嗎?!

XPath的坑

目前為止，我們打開了一個瀏覽器窗口并獲得了網址。接下來我會使用XPath或者CSS選擇器來抓取價格等其他信息。曾經我也只用XPath，當時我覺得沒必要用CSS，但是現在看來最好結合著用。你可以直接用瀏覽器復制網頁XPath來用，你也會發現由XPath雖可以定位網頁元素但是可讀性很差，所以我漸漸意識到只用XPath很難獲得你想要的頁面元素。有時候，指向得越細就越不好用。

接下來，我們用Python來選擇出最低票價的頁面元素。上述代碼中紅色部分就是XPath選擇器的代碼，在網頁中，你可以在任意位置點擊右鍵并選擇“檢查”來找到它。試試吧，在你想看代碼的地方點右鍵，“檢查”它。

為了說明我前面所說的XPath的不足，請大家對比如下差異：

1 # This is what the copy method would return. Right click highlighted rows on the right side and select "copy > Copy XPath" 
//*[@id="wtKI-price_aTab"]/div[1]/div/div/div[1]/div/span/span 
 
2 # This is what I used to define the "Cheapest" button 
cheap_results = ‘//a[@data-code = “price”]’ 

上述代碼中，第二種方式的簡潔性清晰可見。它會去搜素具有data-code屬性值為price的a元素。而第一種方式則是去搜素一個id為wtKI-price_aTab元素，且該元素嵌在5層div及2層span內。對于這次頁面，它能起作用，但這里的坑在于，下次加載頁面時，這個id會變，而且每次加載時wtKI值也是動態變化的，所以到時候這段代碼就無效了。所以多花點功夫研究一下XPath表示的內容還是對你有價值的。

不過這種直接復制XPath的方法對于那些不是很復雜善變的頁面來說還是蠻好用的。

基于上述代碼結果，如果我想找出所有匹配的結果并存到list里，該怎么做呢?很簡單，因為所有結果都在CSS對象resultWrapper中，只要按照我下圖代碼中寫個for循環就能獲得所有結果。這個思路掌握了，那下圖的代碼你也就基本看明白了。也就是說，先選定最外層的頁面元素(如本文網站中的resultWrapper)，再找一種方式(如XPath)來獲取信息，最后再將信息存到可讀的對象中(本例中先存在flight_containers中，再存在flights_list中)。

我把前三個結果詳細內容都打印出來了，里面有我們需要的全部有用信息，但我們還是要找個更好的方法提取它們，這時我們就要對這些元素單獨解析。

開始爬數據!

最簡單的代碼就是讀取更多這個函數，我們先從這里開始。我希望在不觸發安全校驗的情況下獲取盡量多的航班，所以在每次加載完頁面我都會點擊“load more results”按鈕。值得注意的是我用到了try語句，因為有的時候不一定會存在這個按鈕。

哦嘞，前期鋪墊的有點長(抱歉，我確實比較容易跑偏)。我們現在要開始定義用于爬數據的函數了。

我在下文會提到的page_scrape函數中解析了大部分元素。有時候，返回來的航班list中會有兩段行程。我簡單粗暴地把它拆成兩個變量，如section_a_list 和section_b_list。當然，函數還是會返回一個名為flights_df 的DataFrame對象，有了它我們接下來就可以任意排序并視情況切片或合并。

變量名中帶a的表示第一段行程，帶b的表示第二段行程。接著看下一個函數。

別急，還有干貨!

到現在為止，我們有用于加載更多結果的函數，有用于解析這些結果的函數。你可以認為這就完事了，可以靠著它們去手動地爬網頁了，但我前面還提到過，我們的目標是能給自己發郵件，當然還能包括一些其他信息?？纯聪旅孢@個函數start_kayak，所有這些都在里面。

這需要我們定義一下要查詢的航班的地點和日期。我們會打開kayak變量中的網址，并且查詢結果會直接按照“best”方式排序。在第一次爬數之后，我就獲得了頁面上方的價格矩陣數據集，它將用于計算均價和最低價，然后和Kayak的預測價(頁面的左上角)一起通過電子郵件發出。在單個日期搜素時可能導致錯誤，因為這種情況下頁面頂端沒有價格矩陣。

我用outlook郵箱(hotmail.com)做了測試。雖然Gmail我沒試過，甚至還有其他各種郵箱，但我想應該都沒問題。而且我前文提到的書中也寫了其他發郵件的方式，如果你有hotmail郵箱，可以直接在代碼中替換你的郵箱信息，就可以用了。

如果你想知道腳本中某部分代碼的功能，你要把那部分拷出來測試一下，因為只有這樣你才能徹底地理解它。

把代碼跑起來

當然，我們還能把我們前面編的函數放進循環里讓它一直執行。寫明4個輸入提示，包括起降的城市和起止時間(輸入)。但在測試的時候，我們并不想每次都去輸入這個四個變量，就直接修改4個變量，如注釋的那四行代碼所示。

恭喜各位，至此我們已經大功告成了!其實還有很多可以改進的地方，比如我能想到的還可以用Twilio實現發送短信進而取代郵件。你還能架VPN或者以其他隱蔽的方式，同時通過多個服務器來爬數據。還有驗證碼問題，它們總會不時地跳出來，不過這還是有辦法解決的。如果你有比較好的基礎，我覺得你可以試試加上這些功能。甚至你還會想把Excel文件作為郵件的附件一起發出。

相關報道：

https://towardsdatascience.com/if-you-like-to-travel-let-python-help-you-scrape-the-best-fares-5a1f26213086

【本文是51CTO專欄機構大數據文摘的原創文章，微信公眾號“大數據文摘（ id: BigDataDigest）”】

     

戳這里，看該作者更多好文