Python抓站如何使用代理服務器
作者:佚名
Python抓站是一個很有意思的事情,因為我們在平時的使用中會遇到有關網站上的問題,下面我們就來詳細的學習下如何進行Python抓站。
Python抓站在我們解決某些搜索引擎中的問題時有很廣泛的應用。但是有些代碼我們還是不能熟練的掌握。下面我們就詳細的看看如何進行相關的問題解決。希望大家對Python抓站有所收獲。
import urllib2
- content = urllib2.urlopen('http://XXXX').read()
使用代理服務器
這在某些情況下比較有用,比如IP被封了,或者比如IP訪問的次數受到限制等等。
- import urllib2
- proxy_support = urllib2.ProxyHandler({'http':'http://XX.XX.
XX.XX:XXXX'})- opener = urllib2.build_opener(proxy_support, urllib2.
HTTPHandler)- urllib2.install_opener(opener)
- content = urllib2.urlopen('http://XXXX').read()
以上就是對Python抓站有關問題的詳細介紹。
【編輯推薦】
責任編輯:張浩
來源:
IT168