本文記錄了筆者用 Python 爬取淘寶某商品的全過程，并對商品數據進行了挖掘與分析，最終得出結論。

?[[221613]]?

項目內容

??

• 本案例選擇商品類目：沙發。
• 數量：共 100 頁  4400 個商品。
• 篩選條件：天貓、銷量從高到低、價格 500 元以上。

項目目的

• 對商品標題進行文本分析，詞云可視化
• 不同關鍵詞 word 對應的 sales 的統計分析
• 商品的價格分布情況分析
• 商品的銷量分布情況分析
• 不同價格區間的商品的平均銷量分布
• 商品價格對銷量的影響分析
• 商品價格對銷售額的影響分析
• 不同省份或城市的商品數量分布
• 不同省份的商品平均銷量分布

注：本項目僅以以上幾項分析為例。

項目步驟

• 數據采集：Python 爬取淘寶網商品數據
• 對數據進行清洗和處理
• 文本分析：jieba 分詞、wordcloud 可視化
• 數據柱形圖可視化：barh
• 數據直方圖可視化：hist
• 數據散點圖可視化：scatter
• 數據回歸分析可視化：regplot

工具&模塊

• 工具：本案例代碼編輯工具 Anaconda 的 Spyder。
• 模塊：requests、retrying、missingno、jieba、matplotlib、wordcloud、imread、seaborn 等。

爬取數據

因淘寶網是反爬蟲的，雖然使用多線程、修改 headers 參數，但仍然不能保證每次 100% 爬取，所以我增加了循環爬取，每次循環爬取未爬取成功的頁 ，直至所有頁爬取成功停止。

說明：淘寶商品頁為 JSON 格式，這里使用正則表達式進行解析。

代碼如下：

??

數據清洗、處理

數據清洗、處理這個步驟也可以在 Excel 中完成，再讀入數據。

代碼如下：

??

??

說明：根據需求，本案例中只取了 item_loc，raw_title，view_price，view_sales 這 4 列數據，主要對區域、標題、價格、銷量進行分析。

代碼如下：

??

數據挖掘與分析

對 raw_title 列標題進行文本分析

使用結巴分詞器，安裝模塊 pip install jieba：

??

對 title_s（list of list 格式）中的每個 list 的元素（str）進行過濾，剔除不需要的詞語，即把停用詞表 stopwords 中有的詞語都剔除掉：

??

因為下面要統計每個詞語的個數，所以為了準確性，這里對過濾后的數據 title_clean 中的每個 list 的元素進行去重，即每個標題被分割后的詞語唯一。

??

觀察 word_count 表中的詞語，發現 jieba 默認的詞典無法滿足需求。

有的詞語（如可拆洗、不可拆洗等）卻被 cut，這里根據需求對詞典加入新詞（也可以直接在詞典 dict.txt 里面增刪，然后載入修改過的 dict.txt）。

??

詞云可視化需要安裝 wordcloud 模塊。

安裝模塊有兩種方法：

• pip install wordcloud
• 下載 Packages 安裝：pip install 軟件包名稱

軟件包下載地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud

注意：要把下載的軟件包放在 Python 安裝路徑下。

代碼如下：

??

??

分析結論：

• 組合、整裝商品占比很高。
• 從沙發材質看：布藝沙發占比很高，比皮藝沙發多。
• 從沙發風格看：簡約風格最多，北歐風次之，其他風格排名依次是美式、中式、日式、法式等。
• 從戶型看：小戶型占比***、大小戶型次之，大戶型最少。

不同關鍵詞 word 對應的 sales 之和的統計分析

說明：例如詞語“簡約”，則統計商品標題中含有“簡約”一詞的商品的銷量之和，即求出具有“簡約”風格的商品銷量之和。

代碼如下：

??

對表 df_word_sum 中的 word 和 w_s_sum 兩列數據進行可視化。（本例中取銷量排名前 30 的詞語進行繪圖）

??

??

由圖表可知：

組合商品銷量***。

從品類看：布藝沙發銷量很高，遠超過皮藝沙發。

從戶型看：小戶型沙發銷量***，大小戶型次之，大戶型銷量最少。

從風格看：簡約風銷量***，北歐風次之，其他依次是中式、美式、日式等。

可拆洗、轉角類沙發銷量可觀，也是頗受消費者青睞的。

商品的價格分布情況分析

分析發現，有一些值太大，為了使可視化效果更加直觀，這里我們結合自身產品情況，選擇價格小于 20000 的商品。

代碼如下：

??

??

由圖表可知：

商品數量隨著價格總體呈現下降階梯形勢，價格越高，在售的商品越少。

低價位商品居多，價格在 500-1500 之間的商品最多，1500-3000 之間的次之，價格 1 萬以上的商品較少。

價格 1 萬元以上的商品，在售商品數量差異不大。

商品的銷量分布情況分析

??

??

同樣，為了使可視化效果更加直觀，這里我們選擇銷量大于 100 的商品。

代碼如下：

由圖表及數據可知：

• 銷量 100 以上的商品僅占 3.4% ，其中銷量 100-200 之間的商品最多，200-300 之間的次之。
• 銷量 100-500 之間，商品的數量隨著銷量呈現下降趨勢，且趨勢陡峭，低銷量商品居多。
• 銷量 500 以上的商品很少。

不同價格區間的商品的平均銷量分布

代碼如下：

??

??

由圖表可知：

• 價格在 1331-1680 之間的商品平均銷量***，951-1331 之間的次之，9684 元以上的***。
• 總體呈現先增后減的趨勢，但***峰處于相對低價位階段。
• 說明廣大消費者對購買沙發的需求更多處于低價位階段，在 1680 元以上價位越高，平均銷量基本是越少。

商品價格對銷量的影響分析

同上，為了使可視化效果更加直觀，這里我們結合自身產品情況，選擇價格小于 20000 的商品。

代碼如下：

??

??

由圖表可知：

• 總體趨勢：隨著商品價格增多，其銷量減少，商品價格對其銷量影響很大。
• 價格 500-2500 之間的少數商品銷量沖的很高，價格 2500-5000 之間的商品多數銷量偏低，少數相對較高，但價格 5000 以上的商品銷量均很低，沒有銷量突出的商品。

商品價格對銷售額的影響分析

代碼如下：

??

??

由圖表可知：

• 總體趨勢：由線性回歸擬合線可以看出，商品銷售額隨著價格增長呈現上升趨勢。
• 多數商品的價格偏低，銷售額也偏低。
• 價格在 0-20000 的商品只有少數銷售額較高，價格 2-6 萬的商品只有 3 個銷售額較高，價格 6-10 萬的商品有 1 個銷售額很高，而且是***值。

不同省份的商品數量分布

代碼如下：

??

??

由圖表可知：

• 廣東的最多，上海次之，江蘇第三，尤其是廣東的數量遠超過江蘇、浙江、上海等地，說明在沙發這個子類目，廣東的店鋪占主導地位。
• 江浙滬等地的數量差異不大，基本相當。

不同省份的商品平均銷量分布

代碼如下：

??

??

熱力型地圖

掃描下方二維碼，關注51CTO技術棧微信公眾號，回復“淘寶"即可下載“源碼"

??