爬蟲入門之后，我們有兩條路能夠走。

一個(gè)是持續(xù)深化學(xué)習(xí)，以及關(guān)于規(guī)劃模式的一些常識，強(qiáng)化Python相關(guān)常識，自己著手造輪子，持續(xù)為自己的爬蟲增加分布式，多線程等功能擴(kuò)展。另一條路便是學(xué)習(xí)一些優(yōu)秀的結(jié)構(gòu)，先把這些結(jié)構(gòu)用熟，能夠保證能夠敷衍一些根本的爬蟲使命，也就是所謂的解決溫飽問題，然后再深化學(xué)習(xí)它的源碼等常識，進(jìn)一步強(qiáng)化。 

就個(gè)人而言，前一種辦法其實(shí)就是自己著手造輪子，前人其實(shí)現(xiàn)已有了一些比較好的結(jié)構(gòu)，能夠直接拿來用，但是為了自己能夠研討得更加深化和對爬蟲有更全面的了解，自己著手去多做。后一種辦法就是直接拿來前人現(xiàn)已寫好的比較優(yōu)秀的結(jié)構(gòu)，拿來用好，首先保證能夠完結(jié)你想要完結(jié)的使命，然后自己再深化研討學(xué)習(xí)。第一種而言，自己探索的多，對爬蟲的常識掌握會比較透徹。第二種，拿他人的來用，自己方便了，但是可能就會沒有了深化研討結(jié)構(gòu)的心情，還有可能思路被束縛。

接觸了幾個(gè)爬蟲結(jié)構(gòu)，其中比較好用的是 Scrapy 和PySpider。就個(gè)人而言，pyspider上手更簡略，操作更加簡便，因?yàn)樗黾恿?WEB 界面，寫爬蟲迅速，集成了phantomjs，能夠用來抓取js渲染的頁面。Scrapy自定義程度高，比 PySpider更底層一些，適合學(xué)習(xí)研討，需要學(xué)習(xí)的相關(guān)常識多，不過自己拿來研討分布式和多線程等等是非常合適的。

從爬蟲必要的幾個(gè)根本需求來講：

1.抓取

py的urllib不必定去用，但是要學(xué)，如果還沒用過的話。

比較好的替代品有requests等第三方更人性化、老練的庫，如果pyer不了解各種庫，那就白學(xué)了。

抓取最根本就是拉網(wǎng)頁回來。

如果深化做下去，會發(fā)現(xiàn)要面對不同的網(wǎng)頁要求，比如有認(rèn)證的，不同文件格式、編碼處理，各種奇怪的url合規(guī)化處理、重復(fù)抓取問題、cookies跟隨問題、多線程多進(jìn)程抓取、多節(jié)點(diǎn)抓取、抓取調(diào)度、資源壓縮等一系列問題。

所以第一步就是拉網(wǎng)頁回來，慢慢會發(fā)現(xiàn)各種問題待優(yōu)化。 

2.存儲

抓回來一般會用必定策略存下來，而不是直接剖析，個(gè)人覺得更好的架構(gòu)應(yīng)該是把剖析和抓取分離，更加松散，每個(gè)環(huán)節(jié)出了問題能夠隔離別的一個(gè)環(huán)節(jié)可能出現(xiàn)的問題，好排查也好更新發(fā)布。

那么存文件體系、SQLorNOSQL數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫，如何去存就是這個(gè)環(huán)節(jié)的要點(diǎn)。

能夠選擇存文件體系開始，然后以必定規(guī)矩命名。

3.剖析

對網(wǎng)頁進(jìn)行文本剖析，提取鏈接也好，提取正文也好，總歸看的需求，但是必定要做的就是剖析鏈接了。

能夠用認(rèn)為最快最優(yōu)的辦法，比如正則表達(dá)式。

然后將剖析后的成果應(yīng)用與其他環(huán)節(jié)：)

4.展現(xiàn)

要是做了一堆事情，一點(diǎn)展現(xiàn)輸出都沒有，如何展現(xiàn)價(jià)值。

所以找到好的展現(xiàn)組件，去show出肌肉也是關(guān)鍵。

如果為了做個(gè)站去寫爬蟲，抑或要剖析某個(gè)東西的數(shù)據(jù)，都不要忘了這個(gè)環(huán)節(jié)，更好地把成果展現(xiàn)出來給他人感受。 

PySpider是binux做的一個(gè)爬蟲架構(gòu)的開源化完成。主要的功用需求是：

• 抓取、更新調(diào)度多站點(diǎn)的特定的頁面
• 需要對頁面進(jìn)行結(jié)構(gòu)化信息提取
• 靈敏可擴(kuò)展，安穩(wěn)可監(jiān)控

而這也是絕大多數(shù)python爬蟲的需求 —— 定向抓取，結(jié)構(gòu)化化解析。但是面對結(jié)構(gòu)懸殊的各種網(wǎng)站，單一的抓取模式并不一定能滿意，靈敏的抓取操控是必須的。為了到達(dá)這個(gè)目的，單純的配置文件往往不夠靈敏，于是，經(jīng)過腳本去操控抓取是最后的挑選。

而去重調(diào)度，隊(duì)列，抓取，異常處理，監(jiān)控等功用作為結(jié)構(gòu)，提供給抓取腳本，并確保靈敏性。最后加上web的修改調(diào)試環(huán)境，以及web使命監(jiān)控，即成為了這套結(jié)構(gòu)。

pyspider的設(shè)計(jì)基礎(chǔ)是：以python腳本驅(qū)動的抓取環(huán)模型爬蟲

• 經(jīng)過python腳本進(jìn)行結(jié)構(gòu)化信息的提取，follow鏈接調(diào)度抓取操控，完成最大的靈敏性
• 經(jīng)過web化的腳本編寫、調(diào)試環(huán)境。web展示調(diào)度狀態(tài)
• 抓取環(huán)模型成熟安穩(wěn)，模塊間彼此獨(dú)立，經(jīng)過音訊隊(duì)列銜接，從單進(jìn)程到多機(jī)分布式靈敏拓展

pyspider-arch

pyspider的架構(gòu)主要分為 scheduler(調(diào)度器), fetcher(抓取器), processor(腳本履行)：

• 各個(gè)組件間使用音訊隊(duì)列銜接，除了scheduler是單點(diǎn)的，fetcher 和 processor 都是能夠多實(shí)例分布式部署的。 scheduler 負(fù)責(zé)整體的調(diào)度操控
• 使命由 scheduler 發(fā)起調(diào)度，fetcher 抓取網(wǎng)頁內(nèi)容， processor 履行預(yù)先編寫的python腳本，輸出結(jié)果或產(chǎn)生新的提鏈?zhǔn)姑?發(fā)往 scheduler)，構(gòu)成閉環(huán)。
• 每個(gè)腳本能夠靈敏使用各種python庫對頁面進(jìn)行解析，使用結(jié)構(gòu)API操控下一步抓取動作，經(jīng)過設(shè)置回調(diào)操控解析動作。

Python爬蟲入門學(xué)習(xí)。現(xiàn)在，Python能夠做大數(shù)據(jù)的基礎(chǔ)，人工智能的編程言語等，是一門比較熱門的言語。我也寫了很多其他的十分簡單的具體教程，歡迎大家一起來溝通。