手把手教你使用Python網(wǎng)絡(luò)爬蟲(chóng)獲取招聘信息
1.前言
現(xiàn)在在疫情階段，想找一份不錯(cuò)的工作變得更為困難，很多人會(huì)選擇去網(wǎng)上看招聘信息?？墒钦衅感畔⒂幸恍┦清e(cuò)綜復(fù)雜的。而且不能把全部的信息全部羅列出來(lái)，以外賣的58招聘網(wǎng)站來(lái)看，資料整理的不清晰。
2.項(xiàng)目目標(biāo)
獲取招聘信息，并批量把地點(diǎn)、 公司名、工資 、下載保存在txt文檔。
3.項(xiàng)目準(zhǔn)備
軟件：PyCharm
需要的庫(kù)：requests、lxml、fake_useragent
網(wǎng)站如下：
- https://gz.58.com/job/pn2/?param7503=1&from=yjz2_zhaopin&PGTID=0d302408-0000-3efd-48f6-ff64d26b4b1c&ClickID={}
點(diǎn)擊下一頁(yè)時(shí)，ClickID={}每增加一頁(yè)自增加1，用{}代替變換的變量，再用for循環(huán)遍歷這網(wǎng)址，實(shí)現(xiàn)多個(gè)網(wǎng)址請(qǐng)求。
4.反爬措施
該網(wǎng)站上的反爬主要有兩點(diǎn)：
1、 直接使用requests庫(kù)，在不設(shè)置任何header的情況下，網(wǎng)站直接不返回?cái)?shù)據(jù)
2、同一個(gè)ip連續(xù)訪問(wèn)多次，直接封掉ip，起初我的ip就是這樣被封掉的。
為了解決這兩個(gè)問(wèn)題，最后經(jīng)過(guò)研究，使用以下方法，可以有效解決。
1、獲取正常的 http請(qǐng)求頭，并在requests請(qǐng)求時(shí)設(shè)置這些常規(guī)的http請(qǐng)求頭。
2、使用 fake_useragent ，產(chǎn)生隨機(jī)的UserAgent進(jìn)行訪問(wèn)。
5.項(xiàng)目實(shí)現(xiàn)
1、定義一個(gè)class類繼承object，定義init方法繼承self，主函數(shù)main繼承self。導(dǎo)入需要的庫(kù)和網(wǎng)址，代碼如下所示。
- import requests
- from lxml import etree
- from fake_useragent import UserAgent
- class Zhaopin(object):
- def __init__(self):
- self.url = "https://gz.58.com/job/pn2/?param7503=1&from=yjz2_zhaopin&PGTID=0d302408-0000-3efd-48f6-ff64d26b4b1c&ClickID={}" # /zhuanchang/:搜索的名字的拼音縮寫
- def main(self):
- pass
- if __name__ == '__main__':
- Spider = Zhaopin()
- Spider.main()
2、隨機(jī)產(chǎn)生UserAgent。
- for i in range(1, 50):
- self.headers = {
- 'User-Agent': ua.random,
- }
3、發(fā)送請(qǐng)求，獲取響應(yīng), 頁(yè)面回調(diào)，方便下次請(qǐng)求。
- def get_page(self, url):
- res = requests.get(url=url, headers=self.headers)
- html = res.content.decode("utf-8")
- return html
4、xpath解析找到對(duì)應(yīng)的父節(jié)點(diǎn)。
- def page_page(self, html):
- parse_html = etree.HTML(html)
- one = parse_html.xpath('//div[@class="main clearfix"]//div[@class="leftCon"]/ul/li')
5、for遍歷，定義一個(gè)變量food_info保存，獲取到二級(jí)頁(yè)面對(duì)應(yīng)的菜 名、 原 料 、下 載 鏈 接。
- for l in one:
- o = l.xpath('.//a/span[1]/text()')[0].strip()
- t = l.xpath('.//a//span[@class="name"]/text()')[0].strip()
- f = l.xpath('.//p[@class="job_salary"]/text()')
- thr = l.xpath('.//div[@class="comp_name"]//a/text()')[0].strip()
- for e in f:
- boss = '''
- %s:||%s:
- 公司：%s,
- 工資：%s元/月
- =========================================================
- ''' % (o, t, thr, e)
- print(str(boss)
6、將結(jié)果保存在txt文檔中，如下所示。
- f = open('g.txt', 'a', encoding='utf-8') # 以'w'方式打開(kāi)文件
- f.write(str(boss))
- # print(house_dict)
- f.write("\n") # 鍵和值分行放，鍵在單數(shù)行，值在雙數(shù)行
- f.close()
7、調(diào)用方法，實(shí)現(xiàn)功能。
- html = self.get_page(url)
- self.page_page(html)
6.效果展示
1、點(diǎn)擊綠色小三角運(yùn)行輸入起始頁(yè)，終止頁(yè)。
2、運(yùn)行程序后，結(jié)果顯示在控制臺(tái)，如下圖所示。
3、保存txt文檔到本地，如下圖所示。
4、雙擊文件，內(nèi)容如下圖所示。
7.小結(jié)
1、不建議抓取太多數(shù)據(jù)，容易對(duì)服務(wù)器造成負(fù)載，淺嘗輒止即可。
2、本文章就Python爬取招聘網(wǎng)，在應(yīng)用中出現(xiàn)的難點(diǎn)和重點(diǎn)，以及如何防止反爬，做出了相對(duì)于的解決方案。
3、介紹了如何去拼接字符串，以及列表如何進(jìn)行類型的轉(zhuǎn)換。
4、代碼很簡(jiǎn)單，希望能夠幫到你。
5、歡迎大家積極嘗試，有時(shí)候看到別人實(shí)現(xiàn)起來(lái)很簡(jiǎn)單，但是到自己動(dòng)手實(shí)現(xiàn)的時(shí)候，總會(huì)有各種各樣的問(wèn)題，切勿眼高手低，勤動(dòng)手，才可以理解的更加深刻。
6、可以選擇自己喜歡的分類，獲取工作，找到自己喜歡工作。
