秒懂“線性回歸預測”
線性回歸是機器學習中的概念，線性回歸預測算法一般用以解決“使用已知樣本對未知公式參數的估計”類問題。
舉個栗子：
商家賣鞋，可利用歷史上每個季度鞋的定價x與銷量y，來預估“定價與銷量的關系”(y=ax+b)，以輔助對鞋子進行***定價。
一、幾個基本概念
回歸(regression)：用已知樣本對未知公式參數的估計。Y=f(X1, X2, X3)，這里回歸函數f(X1, X2, X3)可能是任意函數。
線性回歸(linear regression)：回歸的一種，回歸函數是一次函數，例如：
- Y=f(X1, X2, X3)=aX1 + bX2 + cX3 + d
其中X1，X2，X3是訓練樣本集中樣本的各個維度(feature)，a，b，c，d是模型的未知參數。
邏輯回歸(logistic regression)：將Y歸一化到[0, 1]區間。
總而言之，邏輯回歸是線性回歸的一種，線性回歸是回歸的一種。
二、線性回歸模型經常是有效的
1. 線性回歸有什么用?
答：線性回歸的預測模型雖然是一元線性方程，但現實中很多應用場景符合這個模型。
例如例子中商品的定價x與商品的銷量y之間的關系。一般來說價格越貴則銷量越低，價格越便宜則銷量越高，于是就能夠用y=ax+b這個評估模型來***化商家的收益：收益=定價*銷量=x*y=x*(ax+b)
2. 什么場景適用于線性回歸?
答：很多應用場景不能夠使用線性回歸模型來進行預測，例如，月份和平均氣溫，平均氣溫并不隨著月份的增長呈線性增長或下降的趨勢。它常用于：
- 預測或分類，用于分類問題時，需要設定閾值區間，并提前知曉閾值區間與類別的對應關系
- 線性問題，可以有多個維度(feature)
三、如何求解線性回歸中的維度參數?
在已知樣本集set的時候，如果根據樣本集得到Y=f(X1,X2,X3,…)=aX1+bX2+cX3+…中的未知參數a，b，c呢?
這得先介紹最小二乘法，以及梯度下降法。
1. 什么是最小二乘法?
答：最小二乘法適用于任意多維度的線性回歸參數求解，它可求解出一組***a，b，c解，使得對于樣本集set中的每一個樣本data，用Y=f(X1,X2,X3,…)來預測樣本，預測值與實際值的方差最小。
畫外音：方差是我們常見的估值函數(cost function)，用來評估回歸出來的預測函數效果。
2. 什么是梯度下降法?
答：最小二乘法實際上只定義了估值函數是方差，真正求解a，b，c的方法是梯度下降法，這是一個枚舉型的求解算法，其算法步驟如下：
(1)使用隨機的a0, b0, c0作為初始值
(2)分別求解***a, b, c…，對于每個維度參數的求解，步驟為(以a為例)：
- 設定a范圍的***值與最小值
- 設定a計算的梯度步長(這就是它叫梯度下降法的原因)
- 固定其他維度參數
- 計算a的所有取值中，使得估值函數最小的那個a即為所求
數學上可以證明：
(1)上述算法是可以收斂的(顯而易見)
(2)分別求出a，b，c的***值，組合起來就是整體的***值(沒這么明顯了)，這個結論是很重要的，假設樣本個數為n，計算a，b，c的算法復雜度都是線性的O(m)，這個結論讓算法的整體復雜度是n*O(m) +n*O(m) + n*O(m)，而不是[n*O(m) ]*[n*O(m)]*[n*O(m)]的關系。
畫外音：計算機非常適合干這個事情，確定范圍和梯度后，這是一個線性復雜度的算法。
四、再來個栗子說明
已知過去4個季度銷量與價格的數據樣本集為：
- 價格x為10時，銷量y為80
- 價格x為20時，銷量y為70
- 價格x為30時，銷量y為60
- 價格x為40時，銷量y為65
假設銷量y與價格x是線性關系：
- y=ax +b
- 假設a的范圍為[-2, 2]，a的梯度為1
- 假設b的范圍為[80, 120]，b的梯度為10
畫外音：計算機計算的時候，范圍會很大，梯度精度會很細。
求解***a和b的過程為：
(1)設a0=-2，b0=80，從最邊緣開始求解
a. 先求***a，固定b=80不動，a從-2到2梯度遞增，求***a的解
可以看到，a=-1時方差最小，故a=-1是***解。
b. 再求***b，固定2.1求出的***a=-1，b從80到120梯度遞增，求***b的解
可以看到，b=90時方差最小，故b=90是***解。
(3)得到***解a=-1，b=90，于是得到定價與銷量的關系是：y=-x+90
(4)最終得到
- 收益=定價*銷量=x*y=x*(-x+90)
于是，當價格定在45元時，整體收益能夠***化。
五、總結
- 邏輯回歸是線性回歸的一種，線性回歸是回歸的一種
- 線性回歸可以用在預測或分類，多維度(feature)線性問題求解上
- 可以用最小二乘法，梯度下降法求解線性預測函數的系數
- 梯度下降法的核心步驟是：設置系數范圍，設定系數梯度，固定其他系數，對某一個系數窮舉求方差最小***解
希望這一分鐘，對線性回歸預測有了一點點了解。
【本文為51CTO專欄作者“58沈劍”原創稿件，轉載請聯系原作者】
