統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)是兩個(gè)密切相關(guān)的領(lǐng)域。實(shí)際上，兩者之間的界限有時(shí)可能非常模糊。但是，有一些方法顯然屬于統(tǒng)計(jì)領(lǐng)域，不僅在機(jī)器學(xué)習(xí)項(xiàng)目中有用，而且非常有價(jià)值。可以公平地說(shuō)，需要統(tǒng)計(jì)方法才能有效地通過(guò)機(jī)器學(xué)習(xí)預(yù)測(cè)建模項(xiàng)目工作。

[[285550]]

統(tǒng)計(jì)學(xué)是先決條件

機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)是兩個(gè)緊密相關(guān)的研究領(lǐng)域。因此許多統(tǒng)計(jì)學(xué)家將機(jī)器學(xué)習(xí)稱為“ 應(yīng)用統(tǒng)計(jì)學(xué) ”或“ 統(tǒng)計(jì)學(xué)習(xí) ”，而不是以計(jì)算機(jī)科學(xué)為中心的名稱。

所有的機(jī)器學(xué)習(xí)初學(xué)者都應(yīng)該學(xué)習(xí)一點(diǎn)統(tǒng)計(jì)學(xué)的知識(shí)。下面有幾個(gè)精心挑選的例子來(lái)具體說(shuō)明。

從一本流行的應(yīng)用機(jī)器學(xué)習(xí)書《 Applied Predictive Modeling 》的開頭看一下這句話：

… the reader should have some knowledge of basic statistics, including variance, correlation, simple linear regression, and basic hypothesis testing (e.g. p-values and test statistics).

— Page vii, Applied Predictive Modeling, 2013

這是流行的《 Introduction to Statistical Learning 》一書中的另一個(gè)示例：

We expect that the reader will have had at least one elementary course in statistics.

— Page 9, An Introduction to Statistical Learning with Applications in R, 2013.

即使不是統(tǒng)計(jì)學(xué)的先決 條件，也需要一些原始的先驗(yàn)知識(shí)，這可以從廣泛閱讀的“ Programming Collective Intelligence ”的引用中看出：

… this book does not assume you have any prior knowledge of […] or statistics. […] but having some knowledge of trigonometry and basic statistics will help you understand the algorithms.

— Page xiii, Programming Collective Intelligence: Building Smart Web 2.0 Applications, 2007.

為了能夠理解機(jī)器學(xué)習(xí)，需要對(duì)統(tǒng)計(jì)信息有一些基本的了解。

想要知道為什么會(huì)這樣，我們必須了解為什么首先需要統(tǒng)計(jì)領(lǐng)域。

為什么要學(xué)習(xí)統(tǒng)計(jì)?

原始觀測(cè)值本身就是數(shù)據(jù)，但它們不是信息或知識(shí)。

數(shù)據(jù)引發(fā)了一些問(wèn)題，例如：

• 最常見(jiàn)或最期望的觀察是什么?
• 觀察的極限是什么?
• 數(shù)據(jù)是什么樣的?

盡管它們看起來(lái)很簡(jiǎn)單，但必須回答這些問(wèn)題才能將原始觀察結(jié)果轉(zhuǎn)化為我們可以使用和共享的信息。

除了原始數(shù)據(jù)，我們還可以通過(guò)設(shè)計(jì)實(shí)驗(yàn)來(lái)收集觀察數(shù)據(jù)。從這些實(shí)驗(yàn)結(jié)果中，我們可能會(huì)遇到更復(fù)雜的問(wèn)題，例如：

• 哪些變量最相關(guān)?
• 兩次實(shí)驗(yàn)的結(jié)果有何不同?
• 差異是真實(shí)存在的還是因?yàn)閿?shù)據(jù)噪聲產(chǎn)生的?

這些問(wèn)題很重要。問(wèn)題的答案對(duì)項(xiàng)目，利益相關(guān)者以及有效的決策都是至關(guān)重要的。

需要統(tǒng)計(jì)方法來(lái)找到關(guān)于數(shù)據(jù)的問(wèn)題的答案。

我們可以看到，為了了解用于訓(xùn)練機(jī)器學(xué)習(xí)模型的數(shù)據(jù)并解釋測(cè)試不同機(jī)器學(xué)習(xí)模型的結(jié)果，都需要統(tǒng)計(jì)方法。

這只是冰山一角，因?yàn)轭A(yù)測(cè)建模項(xiàng)目中的每個(gè)步驟都將需要使用統(tǒng)計(jì)方法。

什么是統(tǒng)計(jì)學(xué)?

統(tǒng)計(jì)學(xué)是數(shù)學(xué)的一個(gè)子領(lǐng)域。

它指的是處理數(shù)據(jù)和使用數(shù)據(jù)回答問(wèn)題的方法的集合。

Statistics is the art of making numerical conjectures about puzzling questions. […] The methods were developed over several hundred years by people who were looking for answers to their questions.

— Page xiii, Statistics, Fourth Edition, 2007.

這是因?yàn)樵擃I(lǐng)域包括處理數(shù)據(jù)的方法包，對(duì)于初學(xué)者而言，它看起來(lái)像是很大的東西，而且是不確定的。很難看出屬于統(tǒng)計(jì)方法的方法與屬于其他研究領(lǐng)域的方法之間的界限。通常，技術(shù)既可以是統(tǒng)計(jì)中的經(jīng)典方法，又可以是用于特征選擇或建模的現(xiàn)代算法。

盡管統(tǒng)計(jì)工作知識(shí)不需要深入的理論知識(shí)，但一些重要的且易于理解的定理可以為統(tǒng)計(jì)和概率之間的關(guān)系提供有價(jià)值的基礎(chǔ)。

兩個(gè)例子包括大數(shù)定律和中心極限定理;第一個(gè)有助于理解為什么較大的樣本通常更好，第二個(gè)則為我們?nèi)绾伪容^樣本之間的期望值(例如平均值)提供了基礎(chǔ)。

對(duì)于我們?cè)趯?shí)踐中使用的統(tǒng)計(jì)工具，將統(tǒng)計(jì)領(lǐng)域分為兩大類方法可能會(huì)有所幫助：用于匯總數(shù)據(jù)的描述性統(tǒng)計(jì)和用于從數(shù)據(jù)樣本中得出結(jié)論的推論統(tǒng)計(jì)。

Statistics allow researchers to collect information, or data, from a large number of people and then summarize their typical experience. […] Statistics are also used to reach conclusions about general differences between groups. […] Statistics can also be used to see if scores on two variables are related and to make predictions.

Pages ix-x, Statistics in Plain English, Third Edition, 2010.

描述統(tǒng)計(jì)

描述性統(tǒng)計(jì)指的是將原始觀察匯總為我們可以理解和共享的信息的方法。

通常，我們將描述性統(tǒng)計(jì)視為對(duì)數(shù)據(jù)樣本的統(tǒng)計(jì)值的計(jì)算，以便總結(jié)數(shù)據(jù)樣本的屬性，例如共同的期望值(例如，均值或中位數(shù))和數(shù)據(jù)的傳播范圍(例如，方差或標(biāo)準(zhǔn)差)。

描述性統(tǒng)計(jì)信息還可能涵蓋可用于可視化數(shù)據(jù)樣本的圖形方法。圖表和圖形可以對(duì)觀察的形狀或分布以及變量之間如何相互關(guān)聯(lián)提供有用的定性理解。

推論統(tǒng)計(jì)

推論統(tǒng)計(jì)是一些方法的統(tǒng)稱，這些方法可以幫助從較小的一組稱為樣本的觀測(cè)值中量化域或總體的屬性。

通常，我們認(rèn)為推論統(tǒng)計(jì)是根據(jù)總體分布估算的數(shù)量，例如期望值或傳播數(shù)量。

更復(fù)雜的統(tǒng)計(jì)推斷工具可用于量化在給定假設(shè)的情況下觀察數(shù)據(jù)樣本的可能性。這些通常被稱為統(tǒng)計(jì)假設(shè)檢驗(yàn)的工具，其中檢驗(yàn)的基本假設(shè)稱為原假設(shè)。

給定我們可以假設(shè)的假設(shè)范圍以及我們可能施加在數(shù)據(jù)上的約束條件，以提高檢驗(yàn)結(jié)果正確的能力或可能性，推理性統(tǒng)計(jì)方法的例子很多。

統(tǒng)計(jì)方法在機(jī)器學(xué)習(xí)項(xiàng)目中的使用示例

在下面的內(nèi)容中，展示了統(tǒng)計(jì)方法的一些特定示例，這些示例在預(yù)測(cè)建模問(wèn)題的關(guān)鍵步驟中非常重要。可以公平地說(shuō)，需要統(tǒng)計(jì)方法才能有效地通過(guò)機(jī)器學(xué)習(xí)方法完成預(yù)測(cè)建模的工作。

1.問(wèn)題框架

在預(yù)測(cè)建模問(wèn)題中較大的影響力也許就是問(wèn)題的框架。

這是問(wèn)題類型的選擇，例如回歸或分類，也許是問(wèn)題的輸入和輸出的結(jié)構(gòu)和類型。

問(wèn)題的框架并不總是很明顯。對(duì)于某個(gè)領(lǐng)域的新手，可能需要對(duì)該領(lǐng)域中的觀察結(jié)果進(jìn)行大量探索。

對(duì)于可能不從常規(guī)角度看問(wèn)題的領(lǐng)域?qū)＜遥麄円部赡軙?huì)從多個(gè)角度考慮數(shù)據(jù)而獲取一些有用信息。

可以在問(wèn)題分類期間幫助探索數(shù)據(jù)的統(tǒng)計(jì)方法包括：

• 探索性數(shù)據(jù)分析。進(jìn)行匯總和可視化以探索數(shù)據(jù)的臨時(shí)視圖。
• 數(shù)據(jù)挖掘。自動(dòng)發(fā)現(xiàn)數(shù)據(jù)中的結(jié)構(gòu)化關(guān)系和模式。

2.數(shù)據(jù)理解

數(shù)據(jù)理解意味著對(duì)變量的分布以及變量之間的關(guān)系有密切的了解。

其中一些知識(shí)可能來(lái)自領(lǐng)域?qū)I(yè)知識(shí)，或者需要領(lǐng)域?qū)I(yè)知識(shí)才能進(jìn)行解釋。盡管如此，研究領(lǐng)域的專家和新手都將從實(shí)際處理領(lǐng)域問(wèn)題中的實(shí)際觀察有所受益。

統(tǒng)計(jì)方法的兩個(gè)大分支用于幫助理解數(shù)據(jù)。他們是：

• 摘要統(tǒng)計(jì)。使用統(tǒng)計(jì)量總結(jié)變量之間的分布和關(guān)系的方法。
• 數(shù)據(jù)可視化。使用圖表和圖形等可視化方法總結(jié)變量之間的分布和關(guān)系的方法。

3.數(shù)據(jù)清理

來(lái)自某個(gè)領(lǐng)域的觀察通常不是原始的。

盡管數(shù)據(jù)是數(shù)字的，但會(huì)受到可能破壞數(shù)據(jù)保真度的過(guò)程的影響，進(jìn)而可能會(huì)影響使用該數(shù)據(jù)的任何下一步過(guò)程或模型。

一些示例包括：

• 數(shù)據(jù)損壞。
• 數(shù)據(jù)錯(cuò)誤。
• 數(shù)據(jù)丟失。

識(shí)別和修復(fù)數(shù)據(jù)問(wèn)題的過(guò)程稱為數(shù)據(jù)清理

統(tǒng)計(jì)方法用于數(shù)據(jù)清理，例如：

• 離群值檢測(cè)。識(shí)別與分布中的期望值相差甚遠(yuǎn)的觀測(cè)值的方法。
• 歸責(zé)。修復(fù)或填充觀測(cè)值中損壞或缺失的方法。

4.數(shù)據(jù)選擇

建模時(shí)，并非所有觀察值或所有變量都可能相關(guān)。

將數(shù)據(jù)范圍縮小到對(duì)做出預(yù)測(cè)最有用的那些元素的過(guò)程稱為數(shù)據(jù)選擇。

用于數(shù)據(jù)選擇的兩種統(tǒng)計(jì)方法包括：

• 數(shù)據(jù)樣本。從較大的數(shù)據(jù)集中系統(tǒng)創(chuàng)建較小的代表性樣本的方法。
• 特征選擇。自動(dòng)識(shí)別與結(jié)果變量最相關(guān)的那些變量的方法。

5.數(shù)據(jù)準(zhǔn)備

數(shù)據(jù)通常不能直接用于建模。

通常需要進(jìn)行一些轉(zhuǎn)換，以更改數(shù)據(jù)的形狀或結(jié)構(gòu)，使其更適合問(wèn)題的選定框架或?qū)W習(xí)算法。

使用統(tǒng)計(jì)方法進(jìn)行數(shù)據(jù)準(zhǔn)備。一些常見(jiàn)的示例包括：

• 縮放比例。標(biāo)準(zhǔn)化和歸一化等方法。
• 編碼。整數(shù)編碼和One-hot編碼等方法。
• 轉(zhuǎn)換。諸如Box-Cox方法之類的冪變換方法。

6.模型評(píng)估

預(yù)測(cè)建模問(wèn)題的關(guān)鍵部分是評(píng)估學(xué)習(xí)方法。

在對(duì)模型訓(xùn)練期間未看到的數(shù)據(jù)進(jìn)行預(yù)測(cè)時(shí)，通常需要估計(jì)模型的技能。

通常，訓(xùn)練和評(píng)估預(yù)測(cè)模型的過(guò)程的計(jì)劃稱為實(shí)驗(yàn)設(shè)計(jì)。這是統(tǒng)計(jì)方法的整個(gè)子領(lǐng)域。

• 實(shí)驗(yàn)設(shè)計(jì)。設(shè)計(jì)系統(tǒng)實(shí)驗(yàn)以比較自變量對(duì)結(jié)果的影響的方法，例如選擇機(jī)器學(xué)習(xí)算法來(lái)提高預(yù)測(cè)精度。

作為實(shí)施實(shí)驗(yàn)設(shè)計(jì)的一部分，使用方法對(duì)數(shù)據(jù)集進(jìn)行重新采樣，以便經(jīng)濟(jì)地利用可用數(shù)據(jù)，從而估算模型的技能。

• 重采樣方法。為了訓(xùn)練和評(píng)估預(yù)測(cè)模型而將數(shù)據(jù)集系統(tǒng)地分為子集的方法。

7.模型超參數(shù)配置

給定的機(jī)器學(xué)習(xí)算法通常具有一整套超參數(shù)，這些超參數(shù)允許使用者根據(jù)特定問(wèn)題而定制學(xué)習(xí)方法。

超參數(shù)的配置在本質(zhì)上通常是經(jīng)驗(yàn)性的，而不是分析性的，需要大量的實(shí)驗(yàn)才能評(píng)估不同的超參數(shù)的取值對(duì)模型效果的影響。

使用兩個(gè)統(tǒng)計(jì)子字段之一對(duì)不同的超參數(shù)配置之間的結(jié)果進(jìn)行解釋和比較：

• 統(tǒng)計(jì)假設(shè)檢驗(yàn)。給定對(duì)結(jié)果的假設(shè)或期望，量化觀察結(jié)果的可能性的方法(使用臨界值和p值表示)。
• 估計(jì)統(tǒng)計(jì)。使用置信區(qū)間量化結(jié)果不確定性的方法。

8.模型選擇

對(duì)于給定的預(yù)測(cè)建模問(wèn)題，可能有不止一個(gè)機(jī)器學(xué)習(xí)算法適合于此問(wèn)題。選擇一種方法作為解決方案的過(guò)程稱為模型選擇。這可能涉及項(xiàng)目利益相關(guān)者的一套標(biāo)準(zhǔn)，也包括對(duì)問(wèn)題評(píng)估方法的估計(jì)技能的仔細(xì)解釋。

與模型配置一樣，出于模型選擇的目的，可以使用兩類統(tǒng)計(jì)方法來(lái)解釋不同模型的估計(jì)技能。他們是：

• 統(tǒng)計(jì)假設(shè)檢驗(yàn)。給定對(duì)結(jié)果的假設(shè)或期望，量化觀察結(jié)果的可能性的方法(使用臨界值和p值表示)。
• 估計(jì)統(tǒng)計(jì)。使用置信區(qū)間量化結(jié)果不確定性的方法。

9.模型介紹

一旦對(duì)最終模型進(jìn)行了訓(xùn)練，就可以在使用或部署最終模型以對(duì)實(shí)際數(shù)據(jù)進(jìn)行實(shí)際預(yù)測(cè)之前將其呈現(xiàn)給利益相關(guān)者。

呈現(xiàn)最終模型的一部分涉及呈現(xiàn)模型的估計(jì)方法。

估計(jì)統(tǒng)計(jì)領(lǐng)域的方法可用于通過(guò)使用公差區(qū)間和置信區(qū)間來(lái)量化機(jī)器學(xué)習(xí)模型的估計(jì)技能中的不確定性。

• 估計(jì)統(tǒng)計(jì)。通過(guò)置信區(qū)間量化模型技能不確定性的方法。

10.模型預(yù)測(cè)

最后，是時(shí)候開始使用最終模型對(duì)我們不知道實(shí)際結(jié)果的新數(shù)據(jù)進(jìn)行預(yù)測(cè)了。

作為進(jìn)行預(yù)測(cè)的一部分，量化預(yù)測(cè)的置信度很重要。

就像模型表示過(guò)程一樣，我們可以使用估計(jì)統(tǒng)計(jì)領(lǐng)域的方法來(lái)量化此不確定性，例如置信區(qū)間和預(yù)測(cè)區(qū)間。

• 估計(jì)統(tǒng)計(jì)。通過(guò)預(yù)測(cè)區(qū)間量化預(yù)測(cè)不確定性的方法。

從上面的例子可以看到統(tǒng)計(jì)方法在整個(gè)預(yù)測(cè)建模項(xiàng)目過(guò)程中的重要性。 探索性的數(shù)據(jù)分析，數(shù)據(jù)匯總和數(shù)據(jù)可視化可用于幫助構(gòu)建預(yù)測(cè)性建模問(wèn)題并更好地理解數(shù)據(jù)。統(tǒng)計(jì)方法可用于清理和準(zhǔn)備用于建模的數(shù)據(jù)。統(tǒng)計(jì)假設(shè)檢驗(yàn)和估計(jì)的統(tǒng)計(jì)數(shù)據(jù)可以在模型的選擇和從最終模型展示的技能和預(yù)測(cè)幫助。