推薦 :在數據科學中需要多少數學技能?
本文為大家介紹了在數據科學和機器學習中所需要的基本數學技能,并且分類給出了相應的主題建議。
盡管已經有許多出色的計算工具可供數據科學家執(zhí)行其工作,數學技能在數據科學和機器學習中仍然是必不可少的,因為這些工具通常僅僅會像是“黑匣子”,而如果沒有理論基礎,您將無法回答核心的分析性問題。
I.引言
如果您渴望成為數據科學家,那么您無疑會想到以下問題:
我?guī)缀鯖]有數學背景,可以成為一個數據科學家嗎?
數據科學中的哪些基本數學技能很重要?
有許多好的軟件包可用于構建預測模型或數據可視化。一些最常見的用于描述性和預測性分析的軟件包包括:
- Ggplot2
- Matplotlib
- Seaborn
- Scikit-learn
- Caret
- TensorFlow
- PyTorch
- Keras
借助這些軟件包,任何人都可以構建模型或進行數據可視化。但是,扎實的數學背景知識對于模型微調(fine-tuning)以生成具有最佳性能的可靠模型至關重要。建立模型是一回事,但解釋模型并得出可用于數據驅動決策的有意義的結論,是另一回事。重要的是,在使用這些軟件包之前,您必須了解每個軟件包的數學基礎,這樣才能避免將這些軟件包僅僅用作“黑匣子”工具。
II.案例:建立多元回歸模型
假設我們現在將要建立一個多元回歸模型。在此之前,我們需要問自己以下問題:
- 我的數據集有多大?
- 我的特征變量和目標變量是什么?
- 哪些預測特征與目標變量最相關?
- 哪些特征很重要?
- 我應該進行特征縮放嗎?
- 我的數據集應如何劃分為訓練集和測試集?
- 什么是主成分分析(PCA)?
- 我應該使用PCA刪除冗余特征嗎?
- 如何評估我的模型?我應該使用R2_score,平均平方誤差(MSE)還是平均絕對誤差(MAE)?
- 如何提高模型的預測能力?
- 我應該使用正則化回歸模型嗎?
- 哪些是回歸系數?
哪些是截距?
我應該使用非參數回歸模型,例如K近鄰回歸還是支持向量回歸(SVR)?
我的模型中有哪些超參數,如何對其進行微調以獲得性能最佳的模型?
沒有良好的數學背景,您將無法解決上面提出的問題。最重要的是,在數據科學和機器學習中,數學技能與編程技能同等重要。因此,想成為數據科學家,您必須花時間研究數據科學和機器學習的理論和數學基礎。您能否構建可應用于實際問題的可靠且有效的模型,取決于您的數學技能。
現在,讓我們討論數據科學和機器學習所需的一些基本數學技能。
Ⅲ. 數據科學和機器學習的基本數學技能
1、 統(tǒng)計學和概率論
統(tǒng)計學和概率論可以用于特征的可視化、數據預處理、特征變換、數據填補、降維、特征工程、模型評估等環(huán)節(jié)。以下是您需要熟悉的主題:
- 均值,中位數,眾數,標準差/方差,相關系數,協(xié)方差矩陣;
- 概率分布(二項分布、泊松分布、正態(tài)分布),p值,貝葉斯定理(精度、召回率、陽性預測值、陰性預測值、混淆矩陣、ROC曲線);
- 中心極限定理,R2_score,MSE(均方誤差),A / B測試,蒙特卡洛模擬…
2、 多變量微積分
大多數機器學習模型都是使用具有多個特征或預測變量的數據集構建的。因此,熟悉多變量演算對于建立機器學習模型非常重要。以下是您需要熟悉的主題:
- 多變量函數;
- 導數和梯度;
- 階躍函數,Sigmoid函數,Logit函數,ReLU函數(整流線性單位函數,Rectified Linear Unit);
- 成本函數;
- 函數繪圖;
- 函數的最小值和最大值…
3、 線性代數
線性代數是機器學習中最重要的數學技能。當數據集被表示為矩陣,線性代數則可用于數據預處理、數據轉換、降維和模型評估。以下是您需要熟悉的主題:
- 向量;
- 向量的范數;
- 矩陣,轉置矩陣,矩陣的逆,矩陣的行列式,矩陣的跡;
- 點積,特征值,特征向量…
4、 優(yōu)化方法
大多數機器學習算法通過最小化目標函數來執(zhí)行預測建模,因而機器學習必須應用于測試數據的權重才能獲得預測標簽。以下是您需要熟悉的主題:
- 成本函數/目標函數;
- 似然函數;
- 損失函數;
- 梯度下降算法及其變體(例如,隨機梯度下降算法)…
IV.結論
總而言之,我們討論了數據科學和機器學習所需的基本數學和理論技能,已經有許多免費在線課程教授這些必要的數學技能。想成為數據科學家,請務必牢記,理論基礎對于構建高效且可靠的模型至關重要。因此,您應該投入足夠的時間來研究每種機器學習算法背后的數學理論。
譯者簡介:劉思婧,清華大學新聞系研一在讀,數據傳播方向。文理兼愛,有點小情懷的數據愛好者。希望結識更多不同專業(yè)、不同專長的伙伴,拓寬眼界、優(yōu)化思維、日日自新。