構建機器學習模型是數據科學的關鍵環節，涉及運用算法進行數據預測或挖掘數據中的模式。

本文分享一系列簡潔的代碼片段，涵蓋機器學習過程的各個階段，從數據準備、模型選擇，到模型評估和超參數調優。這些代碼示例能幫助你使用諸如Scikit-Learn、XGBoost、CatBoost、LightGBM等庫，完成常見的機器學習任務，還包含使用Hyperopt進行超參數優化、利用SHAP值進行模型解釋等高級技術。

借助這些快速參考代碼，你可以簡化機器學習工作流程，在不同領域開發出高效的預測模型。

一、數據處理與探索

1. 加載數據集：data = pd.read_csv('dataset.csv')
2. 探索數據：data.head()、data.info()、data.describe()
3. 處理缺失值：data.dropna()、data.fillna()
4. 編碼分類變量：pd.get_dummies(data)
5. 將數據拆分為訓練集和測試集：X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
6. 特征縮放：scaler = StandardScaler()，X_scaled = scaler.fit_transform(X)

二、模型初始化、訓練與評估

1. 初始化模型：model = RandomForestClassifier()
2. 訓練模型：model.fit(X_train, y_train)
3. 進行預測：predictions = model.predict(X_test)
4. 評估準確率：accuracy_score(y_test, predictions)
5. 混淆矩陣：conf_matrix = confusion_matrix(y_test, predictions)
6. 分類報告：class_report = classification_report(y_test, predictions)
7. 交叉驗證：cv_scores = cross_val_score(model, X, y, cv=5)
8. 超參數調優：grid_search = GridSearchCV(model, param_grid, cv=5)，grid_search.fit(X, y)
9. 特征重要性：feature_importance = model.feature_importances_
10. 保存模型：joblib.dump(model,'model.pkl')
11. 加載模型：loaded_model = joblib.load('model.pkl')

三、降維和聚類

1. 主成分分析：pca = PCA(n_components=2)，X_pca = pca.fit_transform(X)
2. 降維：pca = PCA(n_components=2)，X_pca = pca.fit_transform(X)
3. K均值聚類：kmeans = KMeans(n_clusters=3)，kmeans.fit(X)，labels = kmeans.labels_
4. 手肘法：Sum_of_squared_distances = []，for k in range(1,11): kmeans = KMeans(n_clusters=k)，kmeans.fit(X)，Sum_of_squared_distances.append(kmeans.inertia_)
5. 輪廓系數：silhouette_avg = silhouette_score(X, labels)

四、各類分類模型

1. 決策樹：dt_model = DecisionTreeClassifier()，dt_model.fit(X_train, y_train)
2. 支持向量機：svm_model = SVC()，svm_model.fit(X_train, y_train)
3. 樸素貝葉斯：nb_model = GaussianNB()，nb_model.fit(X_train, y_train)
4. K近鄰分類：knn_model = KNeighborsClassifier()，knn_model.fit(X_train, y_train)
5. 近鄰回歸：KNeighborsRegressor(n_neighbors=5).fit(X_train, y_train)
6. 邏輯回歸：logreg_model = LogisticRegression()，logreg_model.fit(X_train, y_train)
7. 嶺回歸：ridge_model = Ridge()，ridge_model.fit(X_train, y_train)
8. 套索回歸：lasso_model = Lasso()，lasso_model.fit(X_train, y_train)
9. 集成方法：ensemble_model = VotingClassifier(estimators=[('clf1', clf1), ('clf2', clf2)], voting='soft')，ensemble_model.fit(X_train, y_train)
10. 裝袋法：bagging_model = BaggingClassifier(base_estimator=DecisionTreeClassifier(), n_estimators=100)，bagging_model.fit(X_train, y_train)
11. 隨機森林：rf_model = RandomForestClassifier(n_estimators=100)，rf_model.fit(X_train, y_train)
12. 梯度提升：gb_model = GradientBoostingClassifier()，gb_model.fit(X_train, y_train)
13. AdaBoost：adaboost_model = AdaBoostClassifier()，adaboost_model.fit(X_train, y_train)
14. XGBoost：xgb_model = xgb.XGBClassifier()，xgb_model.fit(X_train, y_train)
15. LightGBM：lgb_model = lgb.LGBMClassifier()，lgb_model.fit(X_train, y_train)
16. CatBoost：catboost_model = CatBoostClassifier()，catboost_model.fit(X_train, y_train)

五、模型評估指標

1. ROC曲線：fpr, tpr, thresholds = roc_curve(y_test, predictions_prob[:,1])
2. ROC曲線下面積：roc_auc = roc_auc_score(y_test, predictions_prob[:,1])
3. 精確率 - 召回率曲線：precision, recall, thresholds = precision_recall_curve(y_test, predictions_prob[:,1])
4. 精確率 - 召回率曲線下面積：pr_auc = auc(recall, precision)
5. F1分數：f1 = f1_score(y_test, predictions)
6. 受試者工作特征曲線AUC：roc_auc = roc_auc_score(y_test, predictions_prob[:,1])
7. 均方誤差：mse = mean_squared_error(y_test, predictions)
8. 決定系數（R2）：r2 = r2_score(y_test, predictions)

六、交叉驗證和采樣技術

1. 分層采樣：stratified_kfold = StratifiedKFold(n_splits=5)
2. 時間序列分割：time_series_split = TimeSeriesSplit(n_splits=5)
3. 重采樣（欠采樣）：rus = RandomUnderSampler()，X_resampled, y_resampled = rus.fit_resample(X, y)
4. 重采樣（過采樣）：ros = RandomOverSampler()，X_resampled, y_resampled = ros.fit_resample(X, y)
5. SMOTE（合成少數過采樣技術）：smote = SMOTE()，X_resampled, y_resampled = smote.fit_resample(X, y)
6. 類別權重：class_weight='balanced'
7. 交叉驗證中的分層采樣：stratified_cv = StratifiedKFold(n_splits=5)

七、特征工程與轉換

1. 學習曲線：plot_learning_curve(model, X, y)
2. 驗證曲線：plot_validation_curve(model, X, y, param_name='param', param_range=param_range)
3. 提前停止（以XGBoost為例）：early_stopping_rounds=10
4. 特征縮放：scaler = MinMaxScaler(feature_range=(0, 1))，X_scaled = scaler.fit_transform(X)
5. 獨熱編碼：data_encoded = pd.get_dummies(data)
6. 標簽編碼：label_encoder = LabelEncoder()，data['label_encoded'] = label_encoder.fit_transform(data['label'])
7. 數據歸一化：scaler = StandardScaler()，X_normalized = scaler.fit_transform(X)
8. 數據標準化：scaler = MinMaxScaler()，X_standardized = scaler.fit_transform(X)
9. 數據變換：X_transformed = np.log1p(data)
10. 異常值檢測：iso_forest = IsolationForest()，outliers = iso_forest.fit_predict(X)
11. 異常檢測：envelope = EllipticEnvelope(contamination=0.01)，outliers = envelope.fit_predict(X)
12. 數據插補：imputer = SimpleImputer(strategy='mean')，X_imputed = imputer.fit_transform(X)
13. 多項式回歸：poly = PolynomialFeatures(degree=2)，X_poly = poly.fit_transform(X)

八、回歸模型與技術

1. L1正則化：lasso = Lasso(alpha=1.0)，lasso.fit(X_train, y_train)
2. L2正則化：ridge = Ridge(alpha=1.0)，ridge.fit(X_train, y_train)
3. Huber回歸：huber = HuberRegressor()，huber.fit(X_train, y_train)
4. 分位數回歸：quantile_reg = QuantReg(y_train, X_train)，quantile_result = quantile_reg.fit(q=0.5)
5. 穩健回歸：ransac = RANSACRegressor()，ransac.fit(X_train, y_train)

九、自動化機器學習和高級技術

1. 使用TPOT進行自動化機器學習：tpot = TPOTClassifier()，tpot.fit(X_train, y_train)
2. 使用H2O進行自動化機器學習：h2o_automl = H2OAutoML(max_models=10, seed=1)，h2o_automl.train(x=X_train.columns, y='target', training_frame=train)

十、繪圖與可視化

1. 保存繪圖：plt.savefig('plot.png')
2. 繪制特征重要性圖：plot_feature_importance(model)
3. K均值聚類可視化：plt.scatter(X[:, 0], X[:, 1], c=KMeans(n_clusters=3).fit_predict(X), cmap='viridis')

十一、其他

1. 交叉驗證預測：cv_predictions = cross_val_predict(model, X, y, cv=5)
2. 自定義評估指標：custom_metric = custom_metric(y_true, y_pred)
3. 使用scikit-learn進行特征選擇：kbest = SelectKBest(chi2, k=5)，X_selected = kbest.fit_transform(X, y)
4. 帶交叉驗證的遞歸特征消除：rfecv = RFECV(estimator=DecisionTreeClassifier(), step=1, cv=5)，X_rfecv = rfecv.fit_transform(X, y)
5. 多項式回歸次數：poly = PolynomialFeatures(degree=2)，X_poly = poly.fit_transform(X)
6. 處理類別不平衡問題：class_weight='balanced'
7. AdaBoost中的學習率：learning_rate=0.1
8. 用于確保可重復性的隨機種子：random_state=42
9. 嶺回歸的alpha參數：ridge = Ridge(alpha=1.0)，ridge.fit(X_train, y_train)
10. 套索回歸的alpha參數：lasso = Lasso(alpha=1.0)，lasso.fit(X_train, y_train)
11. 決策樹的最大深度：dt_model = DecisionTreeClassifier(max_depth=3)，dt_model.fit(X_train, y_train)
12. K近鄰的參數：knn_model = KNeighborsClassifier(n_neighbors=5)，knn_model.fit(X_train, y_train)
13. 支持向量機的核參數：svm_model = SVC(kernel='rbf')，svm_model.fit(X_train, y_train)
14. 隨機森林的估計器數量：rf_model = RandomForestClassifier(n_estimators=100)，rf_model.fit(X_train, y_train)
15. 梯度提升的學習率：gb_model = GradientBoostingClassifier(learning_rate=0.1)，gb_model.fit(X_train, y_train)
16. 使用網格搜索的Huber回歸：GridSearchCV(HuberRegressor(), {'epsilon': [1.1, 1.2, 1.3]}, cv=5).fit(X_train, y_train)
17. 帶交叉驗證的嶺回歸：RidgeCV(alphas=[0.1, 1.0, 10.0], cv=5).fit(X_train, y_train)
18. 模型堆疊：stacked_model = StackingClassifier(classifiers=[clf1, clf2], meta_classifier=meta_clf)，stacked_model.fit(X_train, y_train)