K-近鄰算法

什么是k-近鄰算法？

就是根據你的鄰居推斷出你的類別

概念：

K Nearest Neighbor算法又叫KNN算法，這個算法是機器學習里面一個比較經典的算法， 總體來說KNN算法是相對比較容易理解的算法。

定義

如果一個樣本在特征空間中的k個最相似(即特征空間中最鄰近)的樣本中的大多數屬于某一個類別，則該樣本也屬于這個類別。

來源：KNN算法最早是由Cover和Hart提出的一種分類算法

距離公式

兩個樣本的距離可以通過如下公式計算，又叫歐式距離 ，關于距離公式會在后面進行討論

線性回歸

應用場景為：房價預測、銷售額度預測、貸款額度預測

什么是線性回歸？

（1）定義與公式

線性回歸(Linear regression)是利用回歸方程(函數)對一個或多個自變量(特征值)和因變量(目標值)之間關系進行建模的一種分析方式。

特點：只有一個自變量的情況稱為單變量回歸，多于一個自變量情況的叫做多元回歸。

線性回歸用矩陣表示舉例：

那么怎么理解呢？我們來看幾個例子：

期末成績：0.7×考試成績+0.3×平時成績

房子價格 = 0.02×中心區域的距離 + 0.04×城市一氧化氮濃度 + (-0.12×自住房平均房價) + 0.254×城鎮犯罪率

上面兩個例子，我們看到特征值與目標值之間建立了一個關系，這個關系可以理解為線性模型。

邏輯回歸

邏輯回歸（Logistic Regression）是機器學習中的一種分類模型，邏輯回歸是一種分類算法，雖然名字中帶有回歸。由于算法的簡單和高效，在實際中應用非常廣泛。

應用場景：廣告點擊率、是否為垃圾郵件、是否患病、金融詐騙，虛假賬號。

這里就可以發現一個特點了，就是兩個類別之間都屬于判斷，邏輯回歸就是解決二分類問題的利器。

要想掌握邏輯回歸，必須掌握兩點：

邏輯回歸中，其輸入值是什么？

如何判斷邏輯回歸的輸出？

輸入：

激活函數：sigmoid函數

判斷標準

回歸的結果輸入到sigmoid函數當中，輸出結果：[0, 1]區間中的一個概率值，默認為0.5為閾值。

邏輯回歸最終的分類是通過屬于某個類別的概率值來判斷是否屬于某個類別，并且這個類別默認標記為1(正例),另外的一個類別會標記為0(反例)。（方便損失計算）

輸出結果解釋(重要)：假設有兩個類別A，B，并且假設我們的概率值為屬于A(1)這個類別的概率值。現在有一個樣本的輸入到邏輯回歸輸出結果0.55，那么這個概率值超過0.5，意味著我們訓練或者預測的結果就是A(1)類別。那么反之，如果得出結果為0.3那么，訓練或者預測結果就為B(0)類別。

關于邏輯回歸的閾值是可以進行改變的，比如上面舉例中，如果你把閾值設置為0.6，那么輸出的結果0.55，就屬于B類。

決策樹算法

決策樹思想的來源非常樸素，程序設計中的條件分支結構就是if-else結構，最早的決策樹就是利用這類結構分割數據的一種分類學習方法

決策樹：是一種樹形結構，其中每個內部節點表示一個屬性上的判斷，每個分支代表一個判斷結果的輸出，最后每個葉節點代表一種分類結果，本質是一顆由多個判斷節點組成的樹。

怎么理解這句話？通過一個對話例子

上面案例是女生通過定性的主觀意識，把年齡放到最上面，那么如果需要對這一過程進行量化，該如何處理呢？

此時需要用到信息論中的知識：信息熵，信息增益。

集成算法

集成學習通過建立幾個模型來解決單一預測問題。它的工作原理是生成多個分類器/模型，各自獨立地學習和作出預測。這些預測最后結合成組合預測，因此優于任何一個單分類的做出預測。

聚類算法

實際應用：

用戶畫像，廣告推薦，Data Segmentation，搜索引擎的流量推薦，惡意流量識別

基于位置信息的商業推送，新聞聚類，篩選排序。

圖像分割，降維，識別；離群點檢測；信用卡異常消費；發掘相同功能的基因片段。

聚類算法：

一種典型的無監督學習算法，主要用于將相似的樣本自動歸到一個類別中。

在聚類算法中根據樣本之間的相似性，將樣本劃分到不同的類別中，對于不同的相似度計算方法，會得到不同的聚類結果，常用的相似度計算方法有歐式距離法。