數(shù)據(jù)預(yù)處理包括以下幾個(gè)方面:

• 缺失值處理
• 數(shù)據(jù)格式化
• 數(shù)據(jù)規(guī)范化
• 數(shù)據(jù)標(biāo)準(zhǔn)化
• 數(shù)據(jù)分箱（分組）

標(biāo)準(zhǔn)化經(jīng)常容易與規(guī)范化混淆，但它們指的是不同的東西。規(guī)范化涉及將不同比例的度量值調(diào)整到一個(gè)共同的比例，而標(biāo)準(zhǔn)化則是將特征值轉(zhuǎn)換為均值為零，標(biāo)準(zhǔn)差為1的分布。標(biāo)準(zhǔn)化也是通過 z-score 轉(zhuǎn)換來實(shí)現(xiàn)的，其中新值是用當(dāng)前值與平均值之間的差，除以標(biāo)準(zhǔn)差計(jì)算得來的。

Z-score 是一種統(tǒng)計(jì)度量值，用于確定單個(gè)數(shù)據(jù)點(diǎn)與數(shù)據(jù)集其余部分的距離，它可以用來檢測數(shù)據(jù)集中的異常值。

在本教程中，我們將考慮兩種類型的標(biāo)準(zhǔn)化：

• z 得分（z-score）
• z 映射（z-map）

一、數(shù)據(jù)準(zhǔn)備（Data Preparation）

本教程的示例數(shù)據(jù)集還是繼續(xù)沿用上一個(gè)教程（Part 3）中的新冠肺炎數(shù)據(jù)集，獲取方式見上一個(gè)教程的文末。

首先，我們需要導(dǎo)入 Python pandas 庫，并通過 read_csv() 函數(shù)讀取數(shù)據(jù)集。然后我們可以刪除所有具有 NaN 值的列，通過 dropna() 函數(shù)來實(shí)現(xiàn)的。

import pandas  as pd


df = pd.read_csv('datasets/dpc-covid19-ita-regioni.csv')
df.dropna(axis=1, inplace=True)
df.tail(10)

圖片

二、z 得分（Z-Score）

前面說過，標(biāo)準(zhǔn)化是將數(shù)據(jù)集中的特征值轉(zhuǎn)換為具有均值為 0 和標(biāo)準(zhǔn)差為 1 的分布。Z-Score 標(biāo)準(zhǔn)化的公式為：

其中  是當(dāng)前特征值， 是均值， 是標(biāo)準(zhǔn)差。

例如，我們可以計(jì)算列 deceduti 的 z 得分。我們可以使用 scipy.stats 庫的 zscore() 函數(shù)實(shí)現(xiàn)。

from scipy.stats import zscore


df['zscore-deceduti'] = zscore(df['deceduti'])
df['zscore-deceduti']

圖片

三、z 映射（Z-Map）

z 映射的值是用當(dāng)前特征值與比較數(shù)組的平均值之差，除以比較數(shù)組的標(biāo)準(zhǔn)差計(jì)算得來的。例如，我們可以計(jì)算列 deceduti 的 z-map，使用列 terapia_intenva 作為比較數(shù)組。我們可以使用 scipy.stats 庫的 zmap() 函數(shù)實(shí)現(xiàn)。

from scipy.stats import zmap


df['zmap-deceduti'] = zmap(df['deceduti'], df['terapia_intensiva'])
df['zmap-deceduti']

圖片

四、異常值檢測（Detect Outliers）

標(biāo)準(zhǔn)化可以用來檢測和刪除異常值。例如，可以定義一個(gè)閾值來指定哪些值可以被視為異常值。在本例中，我們設(shè)置 threshold = 2。我們可以在原始數(shù)據(jù)框中添加一個(gè)新的列 outliers，如果特征值小于-2或大于2，則將異常標(biāo)記列的值設(shè)置為 True，否則為 False。我們可以使用 numpy 庫的 where() 函數(shù)來執(zhí)行比較。

import numpy as np


threshold = 2
df['outliers'] = np.where((df['zscore-deceduti'] - threshold > 0), True, 
                          np.where(df['zscore-deceduti'] + threshold < 0, True, False))
df['outliers']

圖片

現(xiàn)在，我們可以使用 drop() 函數(shù)刪除異常值。

df.drop(df[df['outliers'] == True].index, inplace=True)
df

圖片

五、總結(jié)（Summary）

在本教程中，我解釋了規(guī)范化和標(biāo)準(zhǔn)化之間的區(qū)別，規(guī)范化在某種程度上包括標(biāo)準(zhǔn)化。

數(shù)據(jù)標(biāo)準(zhǔn)化的方法有兩種：z-score 和 z-map。

標(biāo)準(zhǔn)化可用于檢測和刪除數(shù)據(jù)集中的異常值。此外，它還可以用于在不同的數(shù)據(jù)集之間進(jìn)行比較。