1、 機器學習

湯姆·米歇爾教授任職于卡內(nèi)基梅隴大學計算機學院、機器學習系，根據(jù)他在《機器學習》一書中的定義，機器學習是“研究如何打造可以根據(jù)經(jīng)驗自動改善的計算機程序”。機器學習在本質(zhì)上來說是跨學科的，使用了計算機科學、統(tǒng)計學和人工智能以及其他學科的知識。機器學習研究的主要產(chǎn)物是算法，可以幫助基于經(jīng)驗的自動改善。這些算法可以在各個行業(yè)有廣泛應用，包括計算機視覺、人工智能和數(shù)據(jù)挖掘。

2、 分類

分類的含義是，打造模型，將數(shù)據(jù)分類進入不同的類別。這些模型的打造方式，是輸入一個訓練數(shù)據(jù)庫，其中有預先標記好的類別，供算法進行學習。然后，在模型中輸入類別未經(jīng)標記的數(shù)據(jù)庫，讓模型基于它從訓練數(shù)據(jù)庫中所學到的知識，來預測新數(shù)據(jù)的類別。

因為這類的算法需要明確的類別標記，因此，分類算是“監(jiān)督學習”的一種形式。

3、 回歸

回歸是與分類緊密聯(lián)系在一起的。分類是預測離散的類別，而回歸則適用的情況，是當預測“類別”由連續(xù)的數(shù)字組成。線性回歸就是回歸技術(shù)的一個例子。

4、 聚集

聚集是用來分析不含有預先標記過的類別的數(shù)據(jù)，甚至連類別特性都沒有標記過。數(shù)據(jù)個體的分組原則是這樣的一個概念：最大化組內(nèi)相似度、最小化組與組之間的相似度。這就出現(xiàn)了聚集算法，識別非常相似的數(shù)據(jù)并將其放在一組，而未分組的數(shù)據(jù)之間則沒那么相似。K-means聚集也許是聚集算法中最著名的例子。

由于聚集不需要預先將類別進行標記，它算是“無監(jiān)督學習”的一種形式，意味著算法通過觀察進行學習，而不是通過案例進行學習。

5、 關(guān)聯(lián)

要解釋關(guān)聯(lián)，最簡單的辦法是引入“購物籃分析”，這是一個比較著名的典型例子。購物籃分析是假設(shè)一個購物者在購物籃中放入了各種各樣的物品(實體或者虛擬)，而目標是識別各種物品之間的關(guān)聯(lián)，并為比較分配支持和置信度測量(編者注：置信度是一個統(tǒng)計學概念，意味著某個樣本在總體參數(shù)的區(qū)間估計)。這其中的價值在于交叉營銷和消費者行為分析。關(guān)聯(lián)是購物籃分析的一種概括歸納，與分類相似，除了任何特性都可以在關(guān)聯(lián)中被預測到。 Apriori 算法被稱為最知名的關(guān)聯(lián)算法。

關(guān)聯(lián)也屬于“無監(jiān)督學習”的一種形式。

決策樹的例子，分步解決并分類的方式帶來了樹形結(jié)構(gòu)。圖片來源： SlideShare 。

6、 決策樹

決策樹是一種自上而下、分步解決的遞歸分類器。決策樹通常來說由兩種任務組成：歸納和修剪。歸納是用一組預先分類的數(shù)據(jù)作為輸入，判斷最好用哪些特性來分類，然后將數(shù)據(jù)庫分類，基于其產(chǎn)生的分類數(shù)據(jù)庫再進行遞歸，直到所有的訓練數(shù)據(jù)都完成分類。打造樹的時候，我們的目標是找到特性來分類，從而創(chuàng)造出最純粹的子節(jié)，這樣，要將數(shù)據(jù)庫中所有數(shù)據(jù)分類，只需要最少的分類次數(shù)。這種純度是以信息的概念來衡量。

一個完整的決策樹模型可能過于復雜，包含不必要的結(jié)構(gòu)，而且很難解讀。因而我們還需要“修剪”這個環(huán)節(jié)，將不需要的結(jié)構(gòu)從決策樹中去除，讓決策樹更加高效、簡單易讀并且更加精確。

右上箭頭：最大間隔超平面。左下箭頭：支持向量。圖片來源： KDNuggets 。

7、 支持向量機(SVM)

SVM可以分類線性與非線性數(shù)據(jù)。SVM的原理是將訓練數(shù)據(jù)轉(zhuǎn)化進入更高的維度，再檢查這個維度中的最優(yōu)間隔距離，或者不同分類中的邊界。在SVM中，這些邊界被稱為“超平面”，通過定位支持向量來劃分，或者通過最能夠定義類型的個例及其邊界。邊界是與超平面平行的線條，定義為超平面及其支持向量之間的最短距離。

SVM的宏偉概念概括起來就是：如果有足夠多的維度，就一定能發(fā)現(xiàn)將兩個類別分開的超平面，從而將數(shù)據(jù)庫成員的類別進行非線性化。當重復足夠多的次數(shù)，就可以生成足夠多的超平面，在N個空間維度中，分離所有的類別。

8、 神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)是以人類大腦為靈感的算法，雖然，這些算法對真實人腦功能的模擬程度有多少，還存在很多的爭議，我們還沒法說這些算法真正模擬了人類大腦。神經(jīng)網(wǎng)絡(luò)是由無數(shù)個相互連接的概念化人工神經(jīng)元組成，這些神經(jīng)元在互相之間傳送數(shù)據(jù)，有不同的相關(guān)權(quán)重，這些權(quán)重是基于神經(jīng)網(wǎng)絡(luò)的“經(jīng)驗”而定的。“神經(jīng)元”有激活閾值，如果各個神經(jīng)元權(quán)重的結(jié)合達到閾值，神經(jīng)元就會“激發(fā)”。神經(jīng)元激發(fā)的結(jié)合就帶來了“學習”。

9、 深度學習

深度學習相對來說還是個比較新的詞匯，雖然在網(wǎng)絡(luò)搜索大熱之前就已經(jīng)有了這個詞匯。這個詞匯在研究和業(yè)界都名聲大噪，主要是因為其他一系列不同領(lǐng)域的巨大成功。深度學習是應用深度神經(jīng)網(wǎng)絡(luò)技術(shù)——具有多個隱藏神經(jīng)元層的神經(jīng)網(wǎng)絡(luò)架構(gòu)——來解決問題。深度學習是一個過程，正如使用了深度神經(jīng)網(wǎng)絡(luò)架構(gòu)的數(shù)據(jù)挖掘，這是一種獨特的機器學習算法。

10、增強學習

對于“增強學習”最好的描述來自劍橋大學教授、微軟研究科學家Christopher Bishop，他用一句話精確概括：“增強學習是在某一情景中尋找最適合的行為，從而最大化獎勵。”增強學習中，并沒有給出明確的目標;機器必須通過不斷試錯的方式進行學習。我們來用經(jīng)典的馬里奧游戲舉個例子。通過不斷試錯，增強學習算法可以判斷某些行為、也就是某些游戲按鍵可以提升玩家的游戲表現(xiàn)，在這里，試錯的目標是最優(yōu)化的游戲表現(xiàn)。

K層交叉檢驗的例子，在每一輪使用不同的數(shù)據(jù)進行測試(藍色為訓練數(shù)據(jù)、黃色為測試數(shù)據(jù))，方框下為每一輪的驗證精度。最終的驗證精度是10輪測試的平均數(shù)。圖片來源： GitHub 。

11、K層交叉檢驗

交叉檢驗是一種打造模型的方法，通過去除數(shù)據(jù)庫中K層中的一層，訓練所有K減1層中的數(shù)據(jù)，然后用剩下的第K層來進行測驗。然后，再將這個過程重復K次，每一次使用不同層中的數(shù)據(jù)測試，將錯誤結(jié)果在一個整合模型中結(jié)合和平均起來。這樣做的目的是生成最精確的預測模型。

12、貝葉斯

當我們討論概率的時候，有兩個最主流的學派：經(jīng)典學派概率論看重隨機事件發(fā)生的頻率。與之對比，貝葉斯學派認為概率的目標是將未確定性進行量化，并隨著額外數(shù)據(jù)的出現(xiàn)而更新概率。如果這些概率都延伸到真值，我們就有了不同確定程度的“學習”。