Python爬取北京二手房數據，分析北漂族買得起房嗎？ | 附完整源碼
作者：徐麟
本文主要分為兩部分：Python爬取趕集網北京二手房數據，R對爬取的二手房房價做線性回歸分析，適合剛剛接觸Python&R的同學們學習參考。
房價高是北漂們一直關心的話題，本文就對北京的二手房數據進行了分析。
本文主要分為兩部分：Python爬取趕集網北京二手房數據，R對爬取的二手房房價做線性回歸分析，適合剛剛接觸Python&R的同學們學習參考。
01、Python爬取趕集網北京二手房數據
入門爬蟲一個月，所以對每一個網站都使用了Xpath、Beautiful Soup、正則三種方法分別爬取，用于練習鞏固。數據來源如下：
Xpath爬取：
這里主要解決運用Xpath如何判斷某些元素是否存在的問題，比如如果房屋沒有裝修信息，不加上判斷，某些元素不存在就會導致爬取中斷。
- import requests
- from lxml import etree
- from requests.exceptions import RequestException
- import multiprocessing
- import time
- headers = {
- 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
- def get_one_page(url):
- try:
- response = requests.get(url, headers=headers)
- if response.status_code == 200:
- return response.text
- return None
- except RequestException:
- return None
- def parse_one_page(content):
- try:
- selector = etree.HTML(content)
- ALL = selector.xpath('//*[@id="f_mew_list"]/div[6]/div[1]/div[3]/div[1]/div')
- for div in ALL:
- yield {
- 'Name': div.xpath('dl/dd[1]/a/text()')[0],
- 'Type': div.xpath('dl/dd[2]/span[1]/text()')[0],
- 'Area': div.xpath('dl/dd[2]/span[3]/text()')[0],
- 'Towards': div.xpath('dl/dd[2]/span[5]/text()')[0],
- 'Floor': div.xpath('dl/dd[2]/span[7]/text()')[0].strip().replace('\n', ""),
- 'Decorate': div.xpath('dl/dd[2]/span[9]/text()')[0],
- #地址需要特殊處理一下
- 'Address': div.xpath('dl/dd[3]//text()')[1]+div.xpath('dl/dd[3]//text()')[3].replace('\n','')+div.xpath('dl/dd[3]//text()')[4].strip(),
- 'TotalPrice': div.xpath('dl/dd[5]/div[1]/span[1]/text()')[0] + div.xpath('dl/dd[5]/div[1]/span[2]/text()')[0],
- 'Price': div.xpath('dl/dd[5]/div[2]/text()')[0]
- }
- if div['Name','Type','Area','Towards','Floor','Decorate','Address','TotalPrice','Price'] == None:##這里加上判斷，如果其中一個元素為空，則輸出None
- return None
- except Exception:
- return None
- def main():
- for i in range(1, 500):#這里設置爬取500頁數據，在數據范圍內，大家可以自設置爬取的量
- url = 'http://bj.ganji.com/fang5/o{}/'.format(i)
- content = get_one_page(url)
- print('第{}頁抓取完畢'.format(i))
- for div in parse_one_page(content):
- print(div)
- if __name__ == '__main__':
- main()
Beautiful Soup爬取：
- import requests
- import re
- from requests.exceptions import RequestException
- from bs4 import BeautifulSoup
- import csv
- import time
- headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
- def get_one_page(url):
- try:
- response = requests.get(url,headers = headers)
- if response.status_code == 200:
- return response.text
- return None
- except RequestException:
- return None
- def parse_one_page(content):
- try:
- soup = BeautifulSoup(content,'html.parser')
- items = soup.find('div',class_=re.compile('js-tips-list'))
- for div in items.find_all('div',class_=re.compile('ershoufang-list')):
- yield {
- 'Name':div.find('a',class_=re.compile('js-title')).text,
- 'Type': div.find('dd', class_=re.compile('size')).contents[1].text,#tag的 .contents 屬性可以將tag的子節點以列表的方式輸出
- 'Area':div.find('dd',class_=re.compile('size')).contents[5].text,
- 'Towards':div.find('dd',class_=re.compile('size')).contents[9].text,
- 'Floor':div.find('dd',class_=re.compile('size')).contents[13].text.replace('\n',''),
- 'Decorate':div.find('dd',class_=re.compile('size')).contents[17].text,
- 'Address':div.find('span',class_=re.compile('area')).text.strip().replace(' ','').replace('\n',''),
- 'TotalPrice':div.find('span',class_=re.compile('js-price')).text+div.find('span',class_=re.compile('yue')).text,
- 'Price':div.find('div',class_=re.compile('time')).text
- }
- #有一些二手房信息缺少部分信息，如：缺少裝修信息，或者缺少樓層信息，這時候需要加個判斷，不然爬取就會中斷。
- if div['Name', 'Type', 'Area', 'Towards', 'Floor', 'Decorate', 'Address', 'TotalPrice', 'Price'] == None:
- return None
- except Exception:
- return None
- def main():
- for i in range(1,50):
- url = 'http://bj.ganji.com/fang5/o{}/'.format(i)
- content = get_one_page(url)
- print('第{}頁抓取完畢'.format(i))
- for div in parse_one_page(content):
- print(div)
- with open('Data.csv', 'a', newline='') as f: # Data.csv 文件存儲的路徑,如果默認路徑就直接寫文件名即可。
- fieldnames = ['Name', 'Type', 'Area', 'Towards', 'Floor', 'Decorate', 'Address', 'TotalPrice', 'Price']
- writer = csv.DictWriter(f, fieldnames=fieldnames)
- writer.writeheader()
- for item in parse_one_page(content):
- writer.writerow(item)
- time.sleep(3)#設置爬取頻率，一開始我就是爬取的太猛，導致網頁需要驗證。
- if __name__=='__main__':
- main()
正則爬取：我研究了好久，還是沒有解決。
這一過程中容易遇見的問題有：
- 有一些房屋缺少部分信息，如缺少裝修信息，這個時候需要加一個判斷，如果不加判斷，爬取就會自動終止(我在這里跌了很大的坑)。
Data.csv知識點存儲文件路徑默認是工作目錄，關于Python中如何查看工作目錄：
- import os
- #查看pyhton 的默認工作目錄
- print(os.getcwd())
- #修改時工作目錄
- os.chdir('e:\\workpython')
- print(os.getcwd())
- #輸出工作目錄
- e:\workpython
- 爬蟲打印的是字典形式，每個房屋信息都是一個字典，由于Python中excel相關庫是知識盲點，所以爬蟲的時候將字典循環直接寫入了CSV。
Pycharm中打印如下：
將字典循環直接寫入CSV效果如下：
- 很多初學者對于Address不知如何處理，這里強調一下Beautiful Soup 中.contents的用法，親身體會，我在這里花了好多時間才找到答案。
02、R對爬取的二手房房價做一般線性回歸分析
下面我們用R對抓取的趕集網北京二手房數據做一些簡單的分析。
數據的說明
- Name：主要是商家的醒目標題，不具備分析參考意義
- Type：臥室數、客廳數、衛生間數
- Area：面積(平方米)
- Towards：朝向
- Floor：樓層
- Decorate：裝修情況，如精裝修、簡單裝修、毛坯房
- Address：二手房的地址
- TotalPrice：總價
- Price：均價(元/平方米)
數據清洗
- data<-read.csv("E://Data For R/RData/data.csv")
- DATA<-data[,-c(1,7)]#將Name和Address兩列去掉
- DATA[sample(1:nrow(DATA),size=10),]
- #在爬取的時候加入了判斷，所以不知道爬取的數據中是否存在缺失值，這里檢查一下
- colSums(is.na(DATA))
- #這里將Type的臥室客廳和衛生間分為三個不同的列
- ##這里需要注意，有一些房屋沒有客廳如：1室1衛這時候需要單獨處理，還有一些沒有廁所信息。
- library(tidyr)
- library(stringr)
- DATA=separate(data=DATA,col=Type,into = c("Bedrooms","Halls"),sep="室")
- DATA=separate(data=DATA,col=Halls,into = c("Halls","Toilet"),sep="廳")
- ##將衛生間后面的漢字去掉
- DATA$Toilet<-str_replace(DATA$Toilet,"衛","")
- ###如圖六，將Halls中帶有漢字去掉，因為有一些房屋信息沒有客廳，如：1室1廳，在分成臥室和客廳時，會將衛生間分到客廳一列。
- DATA$Halls<-str_replace(DATA$Halls,"衛","")
- ##取出沒有客廳信息的數據，這些數據被separate到Halls列
- newdata<-DATA[which(DATA$Toilet %in% NA),2]
- newdata
- ##將沒有客廳的房屋信息Halls列填充為0
- DATA[which(DATA$Toilet %in% NA),2]<-0
- DATA[which(DATA$Toilet %in% NA),3]<-newdata
- colSums(DATA=="")
- Bedrooms Halls Toilet Area Towards Floor Decorate
- 0 0 2 0 0 0 0
- TotalPrice Price
- 0 0
- ##發現有2個廁所沒有信息,將其填寫為0。
- DATA$Toilet[DATA$Toilet == ""]<-0
- ##這里將Area后的㎡去掉
- DATA$Area<-str_replace(DATA$Area,"㎡","")
- ##查看Towards的類型
- table(DATA$Towards)
- Towards 北向 東北向 東南向 東西向 東向 南北向 南向 西北向
- 51 25 23 50 65 32 1901 678 38
- 西南向 西向
- 28 26
- ##將Floor信息帶括號的全部去除
- DATA$Floor<-str_replace(DATA$Floor,"[（].*[）]","")##正則表達式
- #查看Floor的類別信息
- 低層 地下 高層 共1層 共2層 共3層 共4層 共5層 中層
- 632 32 790 36 61 101 68 130 1016
- #分別將TotalPrice和Price后面的萬元、元/㎡去掉
- DATA$TotalPrice<-str_replace(DATA$TotalPrice,"萬元","")
- DATA$Price<-str_replace(DATA$Price,"元/㎡","")
- head(DATA)
- ##將數據轉換格式
- DATA$Bedrooms<-as.factor(DATA$Bedrooms)
- DATA$Halls<-as.factor(DATA$Halls)
- DATA$Toilet<-as.factor(DATA$Toilet)
- DATA$Area<-as.numeric(DATA$Area)
- DATA$TotalPrice<-as.numeric(DATA$TotalPrice)
- DATA$Price<-as.numeric(DATA$Price)
- DATA$Towards<-as.factor(DATA$Towards)
- DATA$Decorate<-as.factor(DATA$Decorate)
- str(DATA)
以上數據清洗完畢。
03、描述性分析
這部分的主要思路是探究單個自變量對因變量的影響，對房價的影響因素進行模擬探究之前，首先對各變量進行描述性分析，以初步判斷房價的影響因素。這里探究各個因素對總價影響。
探究Bedrooms與TotalPrice的關系
- table(DATA$Bedrooms)
- 1 2 3 4 5 6 7 9
- 541 1225 779 193 102 20 5 1
- ##由于擁有6、7、9個臥室數的數量較少，這里我們排出這些數據。
- DATA<-DATA[-(which(DATA$Bedrooms %in% "6")),]
- DATA<-DATA[-(which(DATA$Bedrooms %in% "7")),]
- DATA<-DATA[-(which(DATA$Bedrooms %in% "9")),]
- table(DATA$Bedrooms)
- 1 2 3 4 5
- 541 1225 779 193 102
- library(ggplot2)
- ggplot(DATA,aes(x=Bedrooms,y=TotalPrice))+geom_boxplot(col="red")
- DATA$Bedrooms<-as.numeric(DATA$Bedrooms)
- ##這里將臥室數為1、2、3命名為A，4為B，5為C
- DATA$Bedrooms[DATA$Bedrooms=='1']<-"A"
- DATA$Bedrooms[DATA$Bedrooms=='2']<-"A"
- DATA$Bedrooms[DATA$Bedrooms=='3']<-"A"
- DATA$Bedrooms[DATA$Bedrooms=='4']<-"B"
- DATA$Bedrooms[DATA$Bedrooms=='5']<-"C"
不同臥室數，TotalPrice不同。且隨著臥室數的增多，總價越高，符合大眾的認知。
探究Halls與TotalPrice的關系
- table(DATA$Halls)
- 0 1 2 3 4 5 9
- 20 1674 1050 77 18 1 0
- ##5個客廳只有一個個體，我們這里將其排出
- DATA<-DATA[-(which(DATA$Halls %in% "5")),]
- table(DATA$Halls)
- 0 1 2 3 4 5 9
- 20 1674 1050 77 18 0 0
- ggplot(DATA,aes(x=Halls,y=TotalPrice))+geom_boxplot(col="red")
客廳數為3時候總價***，客廳數為0、1和2的時候總價低于客廳數3和客廳數4。
探究Toilet與TotalPrice的關系
- #探究衛生間與總價的關系
- table(DATA$Toilet)
- 0 1 2 3 4 5 6 7 9
- 2 2142 470 116 74 26 7 2 0
- #這里將衛生間數為0、6和7的去掉
- DATA<-DATA[-(which(DATA$Toilet %in% "0")),]
- DATA<-DATA[-(which(DATA$Toilet %in% "6")),]
- DATA<-DATA[-(which(DATA$Toilet %in% "7")),]
- table(DATA$Toilet)
- 0 1 2 3 4 5 6 7 9
- 0 2142 470 116 74 26 0 0 0
- ggplot(DATA,aes(x=Toilet,y=TotalPrice))+geom_boxplot(col="red")
一般臥室數越多，衛生間數也越多，即衛生間數越多，總價越高。
探究Area與TotalPrice的關系
- ggplot(DATA, aes(x=Area, y=TotalPrice)) + geom_point(col='red')
這個完全符合住房面積越大，總價越高。
探究Towards與TotalPrice的關系
- ggplot(DATA,aes(x=Towards,y=TotalPrice))+geom_boxplot(col="red")
探究Floor與TotalPrice的關系
- ggplot(DATA,aes(x=Floor,y=TotalPrice))+geom_boxplot(col="red")
圖中信息顯示樓層一共只有1、2、3、地下的總價較高。
探究Decorate與TotalPrice的關系
- ggplot(DATA,aes(x=Decorate,y=TotalPrice))+geom_boxplot(col="red")
不同裝修信息對總價影響較小。
04、模型建立
- fit <-lm(TotalPrice~Bedrooms+Halls+Toilet+Area+Towards+Floor+Decorate,data=DATA)
- summary(fit)
- Call:
- lm(formula = TotalPrice ~ Bedrooms + Halls + Toilet + Area +
- Towards + Floor + Decorate, data = DATA)
- Residuals:
- Min 1Q Median 3Q Max
- -1330.80 -103.49 -21.41 63.88 2961.59
- Coefficients:
- Estimate Std. Error t value Pr(>|t|)
- (Intercept) -112.7633 88.3010 -1.277 0.201697
- Bedrooms2 -43.5934 16.2533 -2.682 0.007359 **
- Bedrooms3 -82.6565 20.7641 -3.981 7.04e-05 ***
- Bedrooms4 -63.3096 34.9521 -1.811 0.070198 .
- Bedrooms5 79.0618 54.0763 1.462 0.143842
- Halls1 -5.0663 64.2764 -0.079 0.937182
- Halls2 -53.8905 65.4427 -0.823 0.410307
- Halls3 -303.9750 79.2280 -3.837 0.000127 ***
- Halls4 -528.5427 104.0849 -5.078 4.07e-07 ***
- Toilet2 112.9566 19.1171 5.909 3.87e-09 ***
- Toilet3 543.7304 38.8056 14.012 < 2e-16 ***
- Toilet4 735.1894 55.0977 13.343 < 2e-16 ***
- Toilet5 338.7906 84.2851 4.020 5.98e-05 ***
- Area 5.1091 0.1619 31.557 < 2e-16 ***
- Towards東北向 138.9088 79.3817 1.750 0.080248 .
- Towards東南向 187.1895 68.5388 2.731 0.006351 **
- Towards東西向 176.3055 65.8384 2.678 0.007453 **
- Towards東向 210.9435 73.2744 2.879 0.004022 **
- Towards南北向 75.7831 57.1199 1.327 0.184704
- Towards南向 60.1949 56.9678 1.057 0.290763
- Towards西北向 75.4326 71.1415 1.060 0.289091
- Towards西南向 169.8106 75.9626 2.235 0.025467 *
- Towards西向 234.0816 76.5585 3.058 0.002253 **
- Floor地下 -812.3578 63.3277 -12.828 < 2e-16 ***
- Floor高層 12.3525 14.2466 0.867 0.385991
- Floor共1層 -313.7278 52.1342 -6.018 2.00e-09 ***
- Floor共2層 -453.3692 41.6829 -10.877 < 2e-16 ***
- Floor共3層 -601.7032 44.3336 -13.572 < 2e-16 ***
- Floor共4層 -183.7866 36.3396 -5.057 4.52e-07 ***
- Floor共5層 -41.4184 25.7922 -1.606 0.108419
- Floor中層 -1.7223 13.5961 -0.127 0.899204
- Decorate簡單裝修 -63.1591 22.0584 -2.863 0.004224 **
- Decorate精裝修 -49.3276 19.8544 -2.484 0.013033 *
- Decorate毛坯 -157.0299 24.3012 -6.462 1.22e-10 ***
- ---
- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
- Residual standard error: 265.5 on 2794 degrees of freedom
- Multiple R-squared: 0.6852, Adjusted R-squared: 0.6815
- F-statistic: 184.3 on 33 and 2794 DF, p-value: < 2.2e-16
模型的F檢驗拒絕原假設，說明建立的模型是顯著的;Ajusted R-squared為0.6815，模型的擬合程度尚可接受。
作者：徐麟，知乎同名專欄作者，目前就職于上海唯品會產品技術中心，哥大統計數據狗，從事數據挖掘&分析工作，喜歡用R&Python玩一些不一樣的數據。
責任編輯：未麗燕
來源：
數據森麟
