實戰｜Python數據分析可視化并打包
大家好，關于Python數據分析的工具我們已經講了很多了，相信一直關注的讀者對于Pandas、NumPy、Matplotlib的各種操作一定不陌生，今天我們就用一份簡單的數據來學習如何使用Python進行數據分析，本文主要涉及下面三個部分：
- Pandas數據處理
- Matplotlib繪圖
- 利用pyinstaller將py文件打包為exe
雖然本文使用的數據(醫學相關)不會出現在你平時的工作學習中，但是處理的過程比如導入數據、缺失值處理、數據去重、計算、匯總、可視化、導出等操作卻是重要的，甚至還教你如何將程序打包之后對于重復的工作可以一鍵完成!
數據與需求說明
今天分享的案例來源于一個著名的實驗Cell Counting Kit-8。首先我們來看下原始數據：
我們需要完成的工作主要有四塊：
- 去除各組所有重復中的最大值和最小值
- 所有數據根據D0的對應分組進行標準化
- 計算各組數據的均值和標準差表格：均值匯總表和均值-標準差匯總表
- 繪制折線圖
所以我們需要的結果應該是：在自己的桌面上建一個文件夾命名data，將原始數據data.xlsx放進去，之后運行完程序后文件夾會新增3個文件：
而這三個文件就是我們需要的結果
均值匯總表
均值-標準差匯總表
折線圖
現在我們就來講解如何實現。
代碼實現
首先導入庫并調用函數獲取桌面文件夾路徑并寫在全局
- import pandas as pd
- import matplotlib.pyplot as plt
- import os
- import random
- def GetDesktopPath():
- return os.path.join(os.path.expanduser("~"), 'Desktop')
- path = GetDesktopPath() + '/data/'
導入原始數據并去除缺失值
- dat = pd.read_excel(path + 'data.xlsx',
- sheet_name=0,
- header=None,
- index_col=0)
- dat = dat.dropna(how='any', axis=0)
獲取重復次數，分組個數和天數。原始數據有6天、5組、5次重復，雖然也可以直接使用這三個數據，但以后的實驗這三個可能會更改，為了讓代碼能夠復用，最好不要寫死
- # 獲取分組個數
- ngroup = dat.index.value_counts().shape[0]
- # 獲取列數即重復次數
- nrep = dat.shape[1]
- # 獲取天數（操作的批次數）即用總行數除以組數，用整除是為了返回int
- nd = dat.shape[0] // ngroup
去掉極大值和極小值。這里用的解決辦法是逐行升序排序，然后去掉第一個和最后一個數據，可以用apply+lambda處理
- df = dat.apply(lambda x: sorted(x)[1:nrep - 1], axis=1)
- df = df.to_frame(name='total')
- for i in range(nrep - 2):
- df[f'{i + 1}'] = df['total'].str[i]
- df.drop(columns=['total'], inplace=True)
用匿名函數排序返回的是Series的升序列表，須有轉換回DataFrame再拆成三列，最后去掉原來返回那一列即可。因此有了如上代碼
在常規列中添加分組信息和批次信息，便于后續做匯總表
- df['group'] = df.index
- day_lst = []
- for i in range(nd):
- day_lst.append(f'Day{i}')
- # 用列表推導式做列表內元素重復并添加新列
- df['day'] = [i for i in day_lst for _ in range(ngroup)]
效果如圖：
根據D0的各組均值對所有數據標準化，可以簡單理解為DO批次5個組去除兩個極值后各求平均值，這5個批次的5個組各自除于D0對應組的均值)
- # 根據組數取出D0的所有行數，然后按行求均值，會自動忽略文本信息
- mean_lst = df.iloc[0:ngroup, :].mean(axis = 1).tolist()
- # 由于接下來要按行進行迭代，且索引的分組信息已經有一個新列來表述，這里重置索引方便迭代
- df.reset_index(drop=True, inplace=True)
- # 迭代的內容看起來復雜實際上不難
- # 本質上就是將迭代行的數據和D0對應分組均值相除
- for index, i in df.iterrows():
- df.iloc[index, 0:nrep - 2] = i[0:nrep - 2] / mean_lst[index % ngroup]
標準化結束后即可獲取均值和標準差
- # 同樣mean和std均會忽略非數值列
- # 謹慎一點用df['mean'] = df.iloc[:, 0:nrep - 2].mean(axis=1)也可以
- df['mean'] = df.mean(axis=1)
- df['std'] = df.std(axis=1)
- # 獲取最后四列
- results = df.iloc[:, -4:]
制作數據透視表并導出
- # 用round保留4位有效數字
- tb1 = pd.pivot_table(data=results,
- index='group',
- columns='day',
- values='mean').round(4)
- tb2 = pd.pivot_table(data=results,
- index='group',
- columns='day',
- values=['mean', 'std']).round(4)
- tb1.to_excel(path + '/result(mean).xlsx',
- index=True,
- header=True)
- tb2.to_excel(path + '/result(mean+std).xlsx',
- index=True,
- header=True)
在Jupyter Notebook呈現結果如下，在Excel的呈現如本文開頭所示
利用matplotlib畫圖，補充兩個細節，如果在Jupyter Notebook希望出圖需要加上如下代碼
- %matplotlib inline
如果有中文字符需要呈現也同樣需要用代碼設置
- plt.rcParams['font.sans-serif'] = ['SimHei']
匯總表的索引(組名)可以用做圖像的標簽。而顏色和折線上標記樣式所用的測量是根據所需的個數隨機無放回抽樣
- group_lst = tb1.index.tolist()
- colors = ['b', 'g', 'r', 'c', 'm', 'y']
- color_lst = random.sample(colors, ngroup)
- markers = ['.', ',', 'o', 'v', '^', '<', '>',
- '1', '2', '3', '4', 's', 'p', '*', 'h', 'H', '+', 'x', 'D', 'd']
- marker_lst = random.sample(markers, ngroup)
最后的畫圖代碼：
- # 設置畫布大小
- plt.figure(figsize=(8, 5))
- for i in range(ngroup):
- plt.plot(tb1.iloc[i, :].tolist(),
- f'{color_lst[i]}{marker_lst[i]}-', lw=2)
- plt.xticks(range(0, nd), day_lst, fontsize=18)
- plt.ylabel('Relative Cell Amount', fontsize=18)
- plt.legend(group_lst, loc='best', fontsize=12)
- # 讓圖像的顯示分布正常
- plt.tight_layout()
- # 保存一定要在調用展示之前
- plt.savefig(path + "/折線圖.png")
- plt.show()
exe打包
首先在命令行使用pip安裝pyinstaller
- pip install pyinstaller
將完整代碼保存成py文件，這里我保存為cck8.py，然后放在桌面上data文件夾內，然后打開命令行，cd進入該文件夾，然后調用第二行命令即可以編譯成exe
- cd C:\Users\chenx\Desktop\data
- pyinstaller --onefile --clean cck8.py
當然第二行的命令可以自定義如添加圖標等等，這里不做介紹，有興趣的可以自己探索。
