[[351342]]

 爬蟲在采集網站的過程中，部分數據價值較高的網站，會限制訪客的訪問行為。這種時候建議通過登錄的方式，獲取目標網站的cookie，然后再使用cookie配合代理IP進行數據采集分析。

1 使用表單登陸

這種情況屬于post請求，即先向服務器發送表單數據，服務器再將返回的cookie存入本地。

#! -*- encoding:utf-8 -*- 
 
import requests 
 
import random 
 
import requests.adapters 
 
 
 
# 要訪問的目標頁面 
 
targetUrlList = [ 
 
    "https://httpbin.org/ip", 
 
    "https://httpbin.org/headers", 
 
    "https://httpbin.org/user-agent", 
 
] 
 
 
 
# 代理服務器(產品官網 www.16yun.cn) 
 
proxyHost = "t.16yun.cn" 
 
proxyPort = "31111" 
 
 
 
# 代理隧道驗證信息 
 
proxyUser = "username" 
 
proxyPass = "password" 
 
 
 
proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % { 
 
    "host": proxyHost, 
 
    "port": proxyPort, 
 
    "user": proxyUser, 
 
    "pass": proxyPass, 
 
} 
 
 
 
# 設置 http和https訪問都是用HTTP代理 
 
proxies = { 
 
    "http": proxyMeta, 
 
    "https": proxyMeta, 
 
} 
 
 
 
# 訪問三次網站，使用相同的Session(keep-alive)，均能夠保持相同的外網IP 
 
s = requests.session() 
 
 
 
# 設置cookie 
 
cookie_dict = {"JSESSION":"123456789"} 
 
cookies = requests.utils.cookiejar_from_dict(cookie_dict, cookiejar=None, overwrite=True) 
 
s.cookies = cookies 
 
 
 
for i in range(3): 
 
    for url in targetUrlList: 
 
        r = s.get(url, proxies=proxies) 
 
        print r.text 

2 使用cookie登陸 

使用cookie登陸，服務器會認為你是一個已登陸的用戶，所以就會返回給你一個已登陸的內容。因此，需要驗證碼的情況可以使用帶驗證碼登陸的cookie解決。

response_captcha = requests_session.get(url=url_login, cookies=cookies) 
  
response1 = requests.get(url_login) # 未登陸 
  
response2 = requests_session.get(url_login) # 已登陸，因為之前拿到了Response Cookie！ 
  
response3 = requests_session.get(url_results) # 已登陸，因為之前拿到了Response Cookie！ 

若存在驗證碼，此時采用response = requests_session.post(url=url_login, data=data)是不行的，做法應該如下：

response_captcha = requests_session.get(url=url_login, cookies=cookies) 
  
response1 = requests.get(url_login) # 未登陸 
  
response2 = requests_session.get(url_login) # 已登陸，因為之前拿到了Response Cookie！ 
  
response3 = requests_session.get(url_results) # 已登陸，因為之前拿到了Response Cookie！ 
  

 【編輯推薦】