《狄仁杰之四大天王》影評(píng)分析（爬蟲+詞云+熱力圖）
作為徐老怪的忠實(shí)影迷，《狄仁杰之四大天王》肯定是要去看的，看豆瓣評(píng)分和前兩部相差不多，但其實(shí)胡蘿卜醬并不是很喜歡前兩部，所以在猶豫要不要去看，受到糖甜甜甜的《我不是藥神》推送影響，于是也簡(jiǎn)單去分析了一下《狄仁杰》的影評(píng)。
01 數(shù)據(jù)爬取
本來小編是打算爬取豆瓣的全部影評(píng)，但是很不幸，數(shù)據(jù)爬取到一半，我的賬號(hào)被封了(建議大家改為動(dòng)態(tài)IP進(jìn)行爬取，代碼可用，可加QQ群獲取)，于是轉(zhuǎn)戰(zhàn)于貓眼。貓眼的短評(píng)不能直接通過源碼獲得，需要尋找他的數(shù)據(jù)接口，如下：
http://m.maoyan.com/mmdb/comments/movie/341516.json?_v_=yes&offset=1
其中341516屬于電影的專屬id，offset代表頁數(shù)且只展示1000頁的內(nèi)容，同時(shí)僅限于當(dāng)日的評(píng)論。此文只為做影評(píng)分析演示，所以小編只爬取了今日的評(píng)論，去重后僅為幾百條，建議大家多爬取今天的數(shù)據(jù)，在做分析。
代碼如下：
- import requests
- import json
- import time
- import random
- #下載一頁數(shù)據(jù)
- def get_one_page(url):
- headers = {
- 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36'
- }
- response = requests.get(url,headers=headers)
- if response.status_code == 200: #頁面正常響應(yīng)
- return response.text # 返回頁面源代碼
- return None
- #解析一頁數(shù)據(jù)
- def parse_ono_page(html):
- data = json.loads(html)['cmts'] #評(píng)論以json形式存儲(chǔ),故以json形式截取
- for item in data:
- yield{ #該方法返回一個(gè)字典
- 'comment':item['content'],
- 'date':item['time'].split(' ')[0],
- 'rate':item['score'],
- 'city':item['cityName'],
- 'nickname':item['nickName']
- }
- #保存數(shù)據(jù)到文本文檔
- def save_to_txt():
- for i in range(1, 1001):
- url='http://m.maoyan.com/mmdb/comments/movie/341516.json?_v_=yes&offset=' + str(i)
- html = get_one_page(url)
- print('正在保存第%d頁.'% i)
- for item in parse_ono_page(html):
- with open('狄仁杰.txt','a',encoding='utf-8') as f:
- f.write(item['date'] + ',' + item['nickname'] + ',' + item['city'] + ',' +str(item['rate'])+','+item['comment']+'\n')
- #反爬
- time.sleep(5 + float(random.randint(1,100)) /20)
- # 獲取的評(píng)論可能有重復(fù)，為了最終統(tǒng)計(jì)的真實(shí)性，需做去重處理
- def delete_repeat(old,new):
- oldfile = open(old,'r',encoding='UTF-8')
- newfile = open(new,'w',encoding='UTF-8')
- content_list = oldfile.readlines() #讀取的數(shù)據(jù)集
- content_alreadly_ditinct = [] #存儲(chǔ)不重復(fù)的評(píng)論數(shù)據(jù)
- for line in content_list:
- if line not in content_alreadly_ditinct: #評(píng)論不重復(fù)
- newfile.write(line+'\n')
- content_alreadly_ditinct.append(line)
- if __name__ =='__main__':
- save_to_txt()
- delete_repeat(r'狄仁杰.txt', r'狄仁杰_new.txt')
爬取數(shù)據(jù)如下：
02 數(shù)據(jù)分析
直觀來看，有用的數(shù)據(jù)僅為城市，評(píng)分和評(píng)論。我們分別采用熱力圖，柱狀圖和云圖來進(jìn)行可視化分析。
觀影者分布熱力圖
根據(jù)觀影者的城市，我們畫出了觀影者分布情況，如下圖：
可明顯發(fā)現(xiàn)東部地區(qū)，尤其是北京、上海、廣東，成都等城市更為突出，當(dāng)然，這和經(jīng)濟(jì)發(fā)展有著重要的聯(lián)系，也符合我們的常規(guī)想法。
代碼如下：
- from wordcloud import WordCloud, STOPWORDS
- import pandas as pd
- import jieba
- import matplotlib.pyplot as plt
- import seaborn as sns
- from pyecharts import Geo
- f = open('狄仁杰_new.txt',encoding='UTF-8')
- data = pd.read_csv(f,sep=',',header=None,encoding='UTF-8',names=['date','nickname','city','rate','comment'])
- city = data.groupby(['city'])
- rate_group = city['rate']
- city_com = city['city'].agg(['count'])
- city_com.reset_index(inplace=True)
- data_map = [(city_com['city'][i],city_com['count'][i]) for i in range(0,city_com.shape[0])]
- geo = Geo("狄仁杰",title_color="#fff",title_pos="center",width=1200,
- height=600,background_color="#404a59")
- while True:
- try:
- attr, val = geo.cast(data_map)
- geo.add("", attr, val, visual_range=[0, 50], visual_text_color="#fff", is_geo_effect_show=False,
- is_piecewise=True, visual_split_number=6, symbol_size=15, is_visualmap=True)
- except ValueError as e:
- e = str(e)
- e = e.split("No coordinate is specified for ")[1] # 獲取不支持的城市名稱
- for i in range(0,len(data_map)):
- if e in data_map[i]:
- data_map.pop(i)
- break
- else:
- break
- geo.render('狄仁杰.html')
評(píng)分柱狀圖
相較于豆瓣的評(píng)分機(jī)制，在貓眼的評(píng)分機(jī)制允許給出半星的評(píng)價(jià)，于是通過簡(jiǎn)單的柱狀圖來大概看一下評(píng)分情況。
大部分的評(píng)分都高于3分，尤其是給出滿分的最多，只有少數(shù)的觀影者給出了低分，看來徐克這部電影的口碑還行，至少在及格線以上。那大家觀完影，最直觀的感受是什么呢，接下來就通過短評(píng)分析來看看。
代碼如下：
- #評(píng)分分析
- rate = data['rate'].value_counts()
- sns.set_style("darkgrid")
- bar_plot = sns.barplot(x=rate.index,y=(rate.values/sum(rate)),palette="muted")
- plt.xticks(rotation=90)
- plt.show()
短評(píng)詞云圖
為了分析短評(píng)，我們采用jieba對(duì)短評(píng)進(jìn)行了分詞，然后做出詞云圖。
背景圖：
詞云圖：
和前兩部一樣，最突出的是特效，劇情和徐老怪，看來在這部電影里面，徐克肯定也將特效做的很棒，個(gè)人風(fēng)格也肯定展示的***。同時(shí)，也能發(fā)現(xiàn)好看，不錯(cuò)，推薦也是觀影者的主要感受，看來還是蠻值得去看的。
代碼如下：
- #分詞
- comment = jieba.cut(str(data["comment"]),cut_all=False)
- wl_space_split= " ".join(comment)
- #導(dǎo)入背景圖
- backgroud_Image = plt.imread('xuke.jpg')
- stopwords = STOPWORDS.copy()
- print(" STOPWORDS.copy()",help(STOPWORDS.copy()))
- #可以自行加多個(gè)屏蔽詞，也可直接下載停用詞表格
- stopwords.add("電影")
- stopwords.add("一部")
- stopwords.add("一個(gè)")
- stopwords.add("沒有")
- stopwords.add("什么")
- stopwords.add("有點(diǎn)")
- stopwords.add("這部")
- stopwords.add("這個(gè)")
- stopwords.add("不是")
- stopwords.add("真的")
- stopwords.add("感覺")
- stopwords.add("覺得")
- stopwords.add("還是")
- stopwords.add("特別")
- stopwords.add("非常")
- stopwords.add("可以")
- stopwords.add("因?yàn)?quot;)
- stopwords.add("為了")
- stopwords.add("比較")
- print (stopwords)
- #設(shè)置詞云參數(shù)
- #參數(shù)分別是指定字體/背景顏色/***的詞的大小,使用給定圖作為背景形狀
- wc =WordCloud(width=1024,height=768,background_color='white',
- mask = backgroud_Image,font_path='C:/Windows/Fonts/simkai.ttf',
- stopwords=stopwords,max_font_size=400,
- random_state=50)
- #將分詞后數(shù)據(jù)傳入云圖
- wc.generate_from_text(wl_space_split)
- plt.imshow(wc)
- plt.axis('off')#不顯示坐標(biāo)軸
- plt.show()
- #保存結(jié)果到本地
- wc.to_file(r'xuke_wordcloud.jpg')
03 結(jié)語
本文只是做了簡(jiǎn)單的數(shù)據(jù)爬取和分析，主要是用以學(xué)習(xí)如何進(jìn)行分詞，詞云和熱力圖，建議大家可以基于此進(jìn)行練習(xí)。(胡蘿卜醬要抽空去看狄仁杰了，開熏)
