什么是機器學習？

我們先來說個老生常談的情景：

某天你去買芒果，小販有滿滿一車芒果，你一個個選好，拿給小販稱重，然后論斤付錢。

自然，你的目標是那些最甜最成熟的芒果，那怎么選呢？你想起來，外婆說過，明黃色的比淡黃色的甜。你就設了條標準：只選明黃色的芒果。于是按顏色挑好、付錢、回家。啊哈，人生完整了？

呵呵呵。告訴你吧人生就是各種麻煩

等你回到家，嘗了下芒果。有些確實挺甜，有些就不行了。額～顯然，外婆教的金科玉律還不夠用，光看顏色不靠譜哪。

閉關研究大半天以后，你得出結論：大個的明黃色芒果必然甜，小個的，就只有一半幾率會是甜的了。

于是下次，你滿意地帶著這個結論再去買芒果，卻發現你經常光顧的那個小販關門度假去了。好吧，換家店，結果人家的進貨渠道還不一樣，你這套法則不管用了，又得從頭再來。好吧，這家店里每種芒果你都嘗了下，總結出來小個淡黃色的最甜。

還沒結束。你遠房表妹又來找你玩了。但她說了，無所謂芒果甜不甜，汁水多就行。好唄，你還得再做一次實驗，找到芒果越軟汁水越多的規律。

接著你又移民了。一嘗這邊的芒果，咦，新世界的大門打開了。綠色的芒果居然比黃色的好吃……

[[260466]]

有請碼農

好了，現在想象下，這一路辛酸曲折的，你寫了組程序幫忙減輕負擔。那程序邏輯基本應該類似這樣：

預設變量 顏色、大小、店家、硬度

如 顏色=明黃

大小=大

店家=經常光顧的小販

則 芒果=甜

如 硬度=軟

則 芒果=多汁

用著很爽吧，你甚至可以把這套玩意兒發給你小弟，他挑來的芒果也包你滿意。

但每做一次新實驗，你就得人肉改一次程序邏輯。而且你得首先保證自己已經理解了選芒果那套錯綜復雜的藝術，才能把它寫進程序里。

如果要求太復雜、芒果種類太多，那光把所有挑選規則翻譯成程序邏輯就夠你出一身大汗，相當于讀個“芒果學”博士了。

不是所有人都有“讀博”的功夫的。

有請“機器學習”算法

機器學習算法其實就是普通算法的進化版。通過自動學習數據規律，讓你的程序變得更聰明些。

你從市場上隨機買一批芒果（訓練數據），把每只芒果的物理屬性列一個表格出來，比如顏色、大小、形狀、產地、店家，等等（特征），對應芒果的甜度、汁水多少、成熟度，等等（輸出變量）。然后把這些數據扔給機器學習算法（分類/回歸），它就會自己計算出一個芒果物理屬性與其品質之間的相關性模型。

等下一次你去采購時，輸入店里在賣的芒果的物理屬性（測試數據），機器學習算法就會根據上次計算出來的模型來預測這些芒果品質如何。機器用的算法可能跟你人肉寫的邏輯規則類似（比如決策樹），也有可能更先進，但反正基本上你不用多慮。

好啦，現在你可以信心滿滿去買芒果了，顏色大小啥的都是浮云，交給機器去操心唄。更妙的是，你的算法還會逐漸進化（強化學習）：根據其預測結果的正誤，算法會自行修正模型，那么隨著訓練數據的積累，到后來它的預測就會越來越準確。

最妙的來了，用同一個算法，你可以做好幾個模型，蘋果桔子香蕉葡萄各給爺來上一套。

用一句話總結機器學習就是：走自己的屌絲路，讓你的算法牛逼去吧。

機器學習常見算法分類匯總

一、學習方式

根據數據類型的不同，對一個問題的建模有不同的方式。

在機器學習或者人工智能領域，人們首先會考慮算法的學習方式。

在機器學習領域，有幾種主要的學習方式。將算法按照學習方式分類是一個不錯的想法，這樣可以讓人們在建模和算法選擇的時候考慮能根據輸入數據來選擇最合適的算法來獲得最好的結果。

監督式學習：

在監督式學習下，輸入數據被稱為“訓練數據”，每組訓練數據有一個明確的標識或結果，如對防垃圾郵件系統中“垃圾郵件”“非垃圾郵件”，對手寫數字識別中的“1“，”2“，”3“，”4“等。在建立預測模型的時候，監督式學習建立一個學習過程，將預測結果與“訓練數據”的實際結果進行比較，不斷的調整預測模型，直到模型的預測結果達到一個預期的準確率。監督式學習的常見應用場景如分類問題和回歸問題。常見算法有邏輯回歸（Logistic Regression）和反向傳遞神經網絡（Back Propagation Neural Network）

非監督式學習：

在非監督式學習中，數據并不被特別標識，學習模型是為了推斷出數據的一些內在結構。常見的應用場景包括關聯規則的學習以及聚類等。常見算法包括Apriori算法以及k-Means算法。

半監督式學習：

在此學習方式下，輸入數據部分被標識，部分沒有被標識，這種學習模型可以用來進行預測，但是模型首先需要學習數據的內在結構以便合理的組織數據來進行預測。應用場景包括分類和回歸，算法包括一些對常用監督式學習算法的延伸，這些算法首先試圖對未標識數據進行建模，在此基礎上再對標識的數據進行預測。如圖論推理算法（Graph Inference）或者拉普拉斯支持向量機（Laplacian SVM.）等。

強化學習：

在這種學習模式下，輸入數據作為對模型的反饋，不像監督模型那樣，輸入數據僅僅是作為一個檢查模型對錯的方式，在強化學習下，輸入數據直接反饋到模型，模型必須對此立刻作出調整。常見的應用場景包括動態系統以及機器人控制等。常見算法包括Q-Learning以及時間差學習（Temporal difference learning）

在企業數據應用的場景下， 人們最常用的可能就是監督式學習和非監督式學習的模型。 

在圖像識別等領域，由于存在大量的非標識的數據和少量的可標識數據， 目前半監督式學習是一個很熱的話題。 

而強化學習更多的應用在機器人控制及其他需要進行系統控制的領域。

二、算法類似性

根據算法的功能和形式的類似性，我們可以把算法分類，比如說基于樹的算法，基于神經網絡的算法等等。當然，機器學習的范圍非常龐大，有些算法很難明確歸類到某一類。而對于有些分類來說，同一分類的算法可以針對不同類型的問題。這里，我們盡量把常用的算法按照最容易理解的方式進行分類。

回歸算法：

回歸算法是試圖采用對誤差的衡量來探索變量之間的關系的一類算法。回歸算法是統計機器學習的利器。在機器學習領域，人們說起回歸，有時候是指一類問題，有時候是指一類算法，這一點常常會使初學者有所困惑。常見的回歸算法包括：最小二乘法（Ordinary Least Square），邏輯回歸（Logistic Regression），逐步式回歸（Stepwise Regression），多元自適應回歸樣條（Multivariate Adaptive Regression Splines）以及本地散點平滑估計（Locally Estimated Scatterplot Smoothing）

基于實例的算法

基于實例的算法常常用來對決策問題建立模型，這樣的模型常常先選取一批樣本數據，然后根據某些近似性把新數據與樣本數據進行比較。通過這種方式來尋找最佳的匹配。因此，基于實例的算法常常也被稱為“贏家通吃”學習或者“基于記憶的學習”。常見的算法包括 k-Nearest Neighbor(KNN), 學習矢量量化（Learning Vector Quantization， LVQ），以及自組織映射算法（Self-Organizing Map ， SOM）

正則化方法

正則化方法是其他算法（通常是回歸算法）的延伸，根據算法的復雜度對算法進行調整。正則化方法通常對簡單模型予以獎勵而對復雜算法予以懲罰。常見的算法包括：Ridge Regression， Least Absolute Shrinkage and Selection Operator（LASSO），以及彈性網絡（Elastic Net）。

決策樹學習

決策樹算法根據數據的屬性采用樹狀結構建立決策模型， 決策樹模型常常用來解決分類和回歸問題。常見的算法包括：分類及回歸樹（Classification And Regression Tree， CART）， ID3 (Iterative Dichotomiser 3)， C4.5， Chi-squared Automatic Interaction Detection(CHAID), Decision Stump, 隨機森林（Random Forest）， 多元自適應回歸樣條（MARS）以及梯度推進機（Gradient Boosting Machine， GBM）

貝葉斯方法

貝葉斯方法算法是基于貝葉斯定理的一類算法，主要用來解決分類和回歸問題。常見算法包括：樸素貝葉斯算法，平均單依賴估計（Averaged One-Dependence Estimators， AODE），以及Bayesian Belief Network（BBN）。

基于核的算法

基于核的算法中最著名的莫過于支持向量機（SVM）了。 基于核的算法把輸入數據映射到一個高階的向量空間， 在這些高階向量空間里， 有些分類或者回歸問題能夠更容易的解決。 常見的基于核的算法包括：支持向量機（Support Vector Machine， SVM）， 徑向基函數（Radial Basis Function ，RBF)， 以及線性判別分析（Linear Discriminate Analysis ，LDA)等

聚類算法

聚類，就像回歸一樣，有時候人們描述的是一類問題，有時候描述的是一類算法。聚類算法通常按照中心點或者分層的方式對輸入數據進行歸并。所以的聚類算法都試圖找到數據的內在結構，以便按照最大的共同點將數據進行歸類。常見的聚類算法包括 k-Means算法以及期望最大化算法（Expectation Maximization， EM）。

關聯規則學習

關聯規則學習通過尋找最能夠解釋數據變量之間關系的規則，來找出大量多元數據集中有用的關聯規則。常見算法包括 Apriori算法和Eclat算法等。

人工神經網絡

人工神經網絡算法模擬生物神經網絡，是一類模式匹配算法。通常用于解決分類和回歸問題。人工神經網絡是機器學習的一個龐大的分支，有幾百種不同的算法。（其中深度學習就是其中的一類算法，我們會單獨討論），重要的人工神經網絡算法包括：感知器神經網絡（Perceptron Neural Network）, 反向傳遞（Back Propagation）， Hopfield網絡，自組織映射（Self-Organizing Map, SOM）。學習矢量量化（Learning Vector Quantization， LVQ）

深度學習

深度學習算法是對人工神經網絡的發展。 在近期贏得了很多關注， 特別是百度也開始發力深度學習后， 更是在國內引起了很多關注。   在計算能力變得日益廉價的今天，深度學習試圖建立大得多也復雜得多的神經網絡。很多深度學習的算法是半監督式學習算法，用來處理存在少量未標識數據的大數據集。常見的深度學習算法包括：受限波爾茲曼機（Restricted Boltzmann Machine， RBN）， Deep Belief Networks（DBN），卷積網絡（Convolutional Network）, 堆棧式自動編碼器（Stacked Auto-encoders）。

降低維度算法

像聚類算法一樣，降低維度算法試圖分析數據的內在結構，不過降低維度算法是以非監督學習的方式試圖利用較少的信息來歸納或者解釋數據。這類算法可以用于高維數據的可視化或者用來簡化數據以便監督式學習使用。常見的算法包括：主成份分析（Principle Component Analysis， PCA），偏最小二乘回歸（Partial Least Square Regression，PLS）， Sammon映射，多維尺度（Multi-Dimensional Scaling, MDS）,  投影追蹤（Projection Pursuit）等。

集成算法：

集成算法用一些相對較弱的學習模型獨立地就同樣的樣本進行訓練，然后把結果整合起來進行整體預測。集成算法的主要難點在于究竟集成哪些獨立的較弱的學習模型以及如何把學習結果整合起來。這是一類非常強大的算法，同時也非常流行。常見的算法包括：Boosting， Bootstrapped Aggregation（Bagging）， AdaBoost，堆疊泛化（Stacked Generalization， Blending），梯度推進機（Gradient Boosting Machine, GBM），隨機森林（Random Forest）。