本文轉載自公眾號“讀芯術”(ID：AI_Discovery)。

機器學習中的一個常見問題是處理不平衡數據，其中目標類中比例嚴重失調，存在高度不成比例的數據。

[[344863]]

什么是多類不平衡數據?

當分類問題的目標類(兩個或兩個以上)不均勻分布時，稱為不平衡數據。如果不能處理好這個問題，模型將會成為災難，因為使用類不平衡數據建模會偏向于大多數類。處理不平衡數據有不同的方法，最常見的是過采樣(Oversampling)和創建合成樣本。

什么是SMOTE算法?

SMOTE是一種從數據集生成合成算例的過采樣技術，它提高了對少數類的預測能力。雖然沒有信息損失，但它有一些限制。

合成樣本

限制：

• SMOTE不適用于高維數據。
• 可能會發生類的重疊，并給數據帶來更多干擾。

因此，為了跳過這個問題，可以使用'class_weight '參數手動為類分配權重。

為什么使用類別權重(Class weight)?

類別權重通過對具有不同權重的類進行懲罰來直接修改損失函數，有目的地增加少數階級的權力，減少多數階級的權力。因此，它比SMOTE效果更好。本文將介紹一些最受歡迎的獲得數據的權重的技術，它們對不平衡學習問題十分奏效。

(1) Sklearn utils

可以使用sklearn來獲得和計算類權重。在訓練模型的同時將這些權重加入到少數類別中，可以提高類別的分類性能。

from sklearn.utils import class_weightclass_weightclass_weight =class_weight.compute_class_weight('balanced, 
np.unique(target_Y), 
target_Y)model = LogisticRegression(class_weightclass_weight = class_weight) 
model.fit(X,target_Y)# ['balanced', 'calculated balanced', 'normalized'] arehyperpaameterswhic we can play with. 

對于幾乎所有的分類算法，從邏輯回歸到Catboost，都有一個class_weight參數。但是XGboost對二進制分類使用scale_pos_weight，對二進制和多類問題使用樣本權重。

(2) 數長比

非常簡單明了，用行數除以每個類的計數數，然后

weights = df[target_Y].value_counts()/len(df) 
model = LGBMClassifier(class_weight = weights)model.fit(X,target_Y) 

(3) 平和權重技術(Smoothen Weights)

這是選擇權重的最佳方法之一。labels_dict是包含每個類的計數的字典對象，對數函數對不平衡類的權重進行平和處理。

def class_weight(labels_dict,mu=0.15): 
    total = np.sum(labels_dict.values())    keys = labels_dict.keys()    weight = dict()for i in keys: 
        score =np.log(mu*total/float(labels_dict[i]))        weight[i] = score if score > 1else 1return weight# random labels_dict 
labels_dict = df[target_Y].value_counts().to_dict()weights =class_weight(labels_dict)model = RandomForestClassifier(class_weight = weights) 
model.fit(X,target_Y) 

(4) 樣本權重策略

下面的函數不同于用于為XGboost算法獲取樣本權重的class_weight參數。它為每個訓練樣本返回不同的權重。樣本權重是一個與數據長度相同的數組，包含應用于每個樣本的模型損失的權重。

def BalancedSampleWeights(y_train,class_weight_coef): 
    classes = np.unique(y_train, axis =0) 
classes.sort()class_samples = np.bincount(y_train)total_samples = class_samples.sum()n_classes = len(class_samples)    weights = total_samples / (n_classes* class_samples * 1.0) 
class_weight_dict = {key : value for (key, value) in              zip(classes, weights)} 
class_weight_dict[classes[1]] = class_weight_dict[classes[1]] * 
class_weight_coefsample_weights = [class_weight_dict[i] for i in y_train] 
    return sample_weights#Usage 
weight=BalancedSampleWeights(target_Y,class_weight_coef) 
model = XGBClassifier(sample_weight = weight) 
model.fit(X, target_Y) 

(5) 類權重與樣本權重：

樣本權重用于為每個訓練樣本提供權重，這意味著應該傳遞一個一維數組，其元素數量與訓練樣本完全相同。類權重用于為每個目標類提供權重，這意味著應該為要分類的每個類傳遞一個權重。

以上是為分類器查找類權重和樣本權重的幾種方法，所有這些技術都對筆者的項目有效，你可以試試這些技巧，絕對大有幫助。