LSTM的關(guān)鍵在于它的“記憶單元”，能夠選擇性地記住或者忘記信息。其核心組件包括三個(gè)門和一個(gè)記憶單元：1.遺忘門（ForgetGate）：決定應(yīng)該丟棄哪些信息。2.輸入門（InputGate）：決定更新哪些新的信息。3.輸出門（OutputGate）：決定當(dāng)前狀態(tài)如何影響輸出。數(shù)學(xué)公式解釋遺忘門：ftσ(Wf?[ht?1,xt]+bf)遺忘門決定了上一時(shí)刻的狀態(tài)Ct?1中，哪些信息需要保留，哪些需要丟棄。值域?yàn)閇0,1]，1表示完全保留，0表示完全丟棄。輸入...

XGBoost是華盛頓大學(xué)博士陳天奇創(chuàng)造的一個(gè)梯度提升（GradientBoosting）的開(kāi)源框架。至今可以算是各種數(shù)據(jù)比賽中的大殺器，被大家廣泛地運(yùn)用。接下來(lái)，就詳細(xì)介紹一下XGBoost的原理和公式推導(dǎo)。XGBoost其實(shí)是一個(gè)樹(shù)集成模型，他將K（樹(shù)的個(gè)數(shù)）個(gè)樹(shù)的結(jié)果進(jìn)行求和，作為最終的預(yù)測(cè)值。好比接下來(lái)有兩顆決策樹(shù)：tree1和tree2。小男孩的回歸預(yù)測(cè)分?jǐn)?shù)是tree1葉子結(jié)點(diǎn)的權(quán)重和tree2葉子結(jié)點(diǎn)的權(quán)重相加：2+0.92.9。爺爺?shù)念A(yù)測(cè)分?jǐn)?shù)同...

作為機(jī)器學(xué)習(xí)的入門課程，線性回歸是我們必須要學(xué)習(xí)的第一個(gè)算法。今天我們就來(lái)詳細(xì)的講解一下線性回歸。在講解之前，我們先來(lái)解釋以下幾個(gè)問(wèn)題。可為線性？線性是指自變量x和因變量y之間是線性的關(guān)系，即圖像是一條直線，叫做線性。何為回歸？百度百科的解釋是：指研究一組隨機(jī)變量(Y1，Y2，…，Yi)和另一組(X1，X2，…，Xk)變量之間關(guān)系的統(tǒng)計(jì)分析方法，又稱多重回歸分析。通俗的講就是我們研究一個(gè)函數(shù)，當(dāng)我們輸入自變量x時(shí)...

神經(jīng)網(wǎng)絡(luò)為什么可以做到智能分類，回歸預(yù)測(cè)？他是如何做到的呢？讓我們先來(lái)看一個(gè)回歸預(yù)測(cè)問(wèn)題，請(qǐng)看下面這張圖：解釋一下上圖中的要素：藍(lán)色曲線為真實(shí)數(shù)據(jù)，紅色為神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)曲線。其中紅色曲線由三段直線構(gòu)成，【01】區(qū)間內(nèi)斜率k1；【12】區(qū)間內(nèi)斜率k1；【2∞】區(qū)間內(nèi)斜率k1。實(shí)際上神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)曲線y^可以由以下三個(gè)函數(shù)構(gòu)成：??????解釋一下上圖中的要素：其中y1x，區(qū)間【0∞】；y20，區(qū)間【01】，y22x+2，區(qū)間【1...

從本篇開(kāi)始我將會(huì)給大家詳細(xì)的講解神經(jīng)網(wǎng)絡(luò)以及最經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)。我們都知道神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)的一個(gè)分支，而神經(jīng)網(wǎng)絡(luò)的延伸和豐富又形成了一個(gè)新的學(xué)科：深度學(xué)習(xí)。深度學(xué)習(xí)目前主要應(yīng)用在計(jì)算機(jī)視覺(jué)領(lǐng)域，也就是對(duì)圖片的識(shí)別檢測(cè)和分類。但是既然是圖像處理，處理結(jié)果就會(huì)受到一下幾個(gè)因素的影響：1.照射角度改變拍照的角度，改變物體的位置，要求能夠識(shí)別????2.光照強(qiáng)度上圖中亮度強(qiáng)的白貓可以一眼識(shí)別，而亮度低...

fwx+b，再經(jīng)由sigmoid(f)或者softmax(f)得到的概率與樣本實(shí)際值y(x)是有偏差的，怎樣能使預(yù)測(cè)值無(wú)限接近樣本實(shí)際值呢？這時(shí)就需要用到反向傳播來(lái)更新神經(jīng)網(wǎng)絡(luò)參數(shù)。反向傳播主要是通過(guò)計(jì)算損失函數(shù)對(duì)網(wǎng)絡(luò)參數(shù)的梯度，然后利用梯度下降等優(yōu)化方法來(lái)更新參數(shù)，從而使網(wǎng)絡(luò)逐步優(yōu)化，降低預(yù)測(cè)誤差。。反向傳播流程如下所示：1.前向傳播（ForwardPropagation）首先，對(duì)輸入數(shù)據(jù)進(jìn)行前向傳播計(jì)算，得到網(wǎng)絡(luò)的輸出。這包括以下步驟：輸...

很多課程都會(huì)通過(guò)公式來(lái)說(shuō)明Transformer，但是沒(méi)有給你算過(guò)數(shù)，也沒(méi)讓你明白一件更重要的事：“自注意力給出來(lái)的輸出，實(shí)際上表示了什么？”本文就想用一個(gè)質(zhì)化、好懂、可實(shí)際運(yùn)算的例子，帶你真正看懂SelfAttention是怎么工作的，并解釋它的輸出真正意義!1.讓我們?cè)賮?lái)回顧下什么是“注意力機(jī)制”？你看一段文字時(shí)，總會(huì)下意識(shí)的想：我要看哪些詞？哪些字是我目前理解這句話的關(guān)鍵？注意力機(jī)制就是這樣一種方法，它允許模型根據(jù)...

LightGBM是一個(gè)快速、高效的梯度提升框架，他由微軟開(kāi)發(fā)，在數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)領(lǐng)域應(yīng)用廣泛。接下來(lái)詳細(xì)介紹下他的原理1.梯度提升框架：LightGBM基于梯度提升決策樹(shù)（GBDT）算法，通過(guò)迭代地訓(xùn)練決策樹(shù)來(lái)逐步減少預(yù)測(cè)誤差。它將弱學(xué)習(xí)器（如決策樹(shù)）組合成一個(gè)強(qiáng)學(xué)習(xí)器，不斷地根據(jù)之前模型的誤差來(lái)調(diào)整新模型的訓(xùn)練，從而提高整體模型的準(zhǔn)確性。舉例：假設(shè)有一個(gè)預(yù)測(cè)房?jī)r(jià)的任務(wù)，我們有一些房屋的特征數(shù)據(jù)，如面積、房間數(shù)、...

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）是一類能夠處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，它在處理自然語(yǔ)言處理、語(yǔ)音識(shí)別、時(shí)間序列分析等任務(wù)中表現(xiàn)出色。RNN的獨(dú)特之處在于它能夠捕捉序列中的時(shí)間依賴關(guān)系，這使得它與傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)（如MLP）有著顯著的不同。RNN的基本原理在標(biāo)準(zhǔn)的前饋神經(jīng)網(wǎng)絡(luò)中，輸入和輸出之間的映射是靜態(tài)的：輸入通過(guò)一組層的線性變換和非線性激活函數(shù)，然后生成輸出。而RNN引入了循環(huán)的概念：在處理序列數(shù)據(jù)時(shí)，RNN不僅考慮當(dāng)前...

在深度學(xué)習(xí)飛速發(fā)展的當(dāng)下，Transformer架構(gòu)無(wú)疑是閃耀的明星，被廣泛應(yīng)用于自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)等多個(gè)領(lǐng)域。而Transformer的“智慧源泉”，正是自注意力機(jī)制。今天，就讓我們深入剖析這一神奇機(jī)制，揭開(kāi)它的神秘面紗。首先要明白一個(gè)概念：為什么需要自注意力機(jī)制？傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，如循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）在處理序列數(shù)據(jù)時(shí)，按順序依次處理每個(gè)元素，對(duì)于長(zhǎng)距離依賴的捕捉能力欠佳，會(huì)出現(xiàn)梯度消失或梯度爆炸問(wèn)題。卷積神...

今天我們來(lái)講一講神經(jīng)網(wǎng)絡(luò)的參數(shù)到底是如何更新的！我們先來(lái)看看如下神經(jīng)網(wǎng)絡(luò)中的最后一個(gè)參數(shù)b3是怎樣進(jìn)行更新的。后面的章節(jié)再來(lái)講w1w2w3b1b2是如何更新的。我們先假設(shè)w1w2w3b1b2參數(shù)均已得到最優(yōu)解，分別如上圖中綠色數(shù)據(jù)所示。假設(shè)我們要擬合的曲線如下圖所示：我們先給b3賦一個(gè)默認(rèn)的初始值0。假設(shè)最上面的綠色曲線是我們要擬合的真實(shí)曲線，最下面的綠色曲線是當(dāng)前的預(yù)測(cè)曲線。我們先來(lái)求一個(gè)殘差平方和，即對(duì)于所有的輸入...

ReLU（RectifiedLinearUnit）函數(shù)詳細(xì)講解ReLU（修正線性單元）是一種在深度學(xué)習(xí)中非常流行的激活函數(shù)，它主要用于神經(jīng)網(wǎng)絡(luò)中的隱藏層。ReLU的設(shè)計(jì)簡(jiǎn)單而高效，能夠有效地處理梯度消失問(wèn)題，使深度神經(jīng)網(wǎng)絡(luò)得以訓(xùn)練。1.ReLU函數(shù)的定義ReLU的數(shù)學(xué)表達(dá)式非常簡(jiǎn)潔：f(x)max?(0,x)意思是：當(dāng)輸入值x大于0時(shí)，輸出值就是輸入值x。當(dāng)輸入值x小于或等于0時(shí)，輸出值是0。2.ReLU函數(shù)的圖形ReLU函數(shù)的圖形形狀呈現(xiàn)為分段線性函數(shù)，在輸入...

梯度消失（VanishingGradient）與梯度爆炸（ExplodingGradient）梯度消失和梯度爆炸是深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練中經(jīng)常遇到的兩個(gè)重要問(wèn)題，尤其是在訓(xùn)練較深的網(wǎng)絡(luò)時(shí)。這兩個(gè)問(wèn)題都會(huì)影響網(wǎng)絡(luò)的訓(xùn)練效率，甚至導(dǎo)致訓(xùn)練失敗。下面小A將詳細(xì)講解這兩個(gè)問(wèn)題。一.梯度消失概念梯度消失是指在訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)時(shí)，反向傳播過(guò)程中的梯度逐漸變小，最終導(dǎo)致梯度接近于零的現(xiàn)象。這使得神經(jīng)網(wǎng)絡(luò)的權(quán)重更新非常緩慢，甚至導(dǎo)致某些層的權(quán)重根本不...

今天我們要講解的算法是Word2vec。Word2vec（wordtovector）顧名思義，這是一個(gè)將單詞轉(zhuǎn)換成向量形式的工具。通過(guò)轉(zhuǎn)換，可以把對(duì)文本內(nèi)容的處理簡(jiǎn)化為向量空間中的向量運(yùn)算，計(jì)算出向量空間上的相似度，來(lái)表示文本語(yǔ)義上的相似度。Word2vec主要分為CBOW（ContinuousBagofWords）又叫連續(xù)詞袋和SkipGram兩種模式，今天我們主要講解的就是CBOW，接下來(lái)我們將從頭到尾的詳細(xì)講解Word2vec算法流程。先來(lái)講解一個(gè)背景知識(shí)：onehot向...

今天我們來(lái)講一講神經(jīng)網(wǎng)絡(luò)的參數(shù)到底是如何更新的！我們先來(lái)看看如下神經(jīng)網(wǎng)絡(luò)中的最后一個(gè)參數(shù)b3是怎樣進(jìn)行更新的。后面的章節(jié)再來(lái)講w1w2w3b1b2是如何更新的。我們先假設(shè)w1w2w3b1b2參數(shù)均已得到最優(yōu)解，分別如上圖中綠色數(shù)據(jù)所示。假設(shè)我們要擬合的曲線如下圖所示：我們先給b3賦一個(gè)默認(rèn)的初始值0。假設(shè)最上面的綠色曲線是我們要擬合的真實(shí)曲線，最下面的綠色曲線是當(dāng)前的預(yù)測(cè)曲線。我們先來(lái)求一個(gè)殘差平方和，即對(duì)于所有的輸入...

什么是梯度下降？梯度下降是一種用于優(yōu)化目標(biāo)函數(shù)的迭代算法。什么是目標(biāo)函數(shù)？就是損失函數(shù)，損失函數(shù)（LossFunction）是在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)中廣泛使用的一個(gè)概念。它主要用于衡量模型的預(yù)測(cè)結(jié)果與實(shí)際結(jié)果之間的差異程度。簡(jiǎn)單來(lái)說(shuō)，損失函數(shù)的值越小，說(shuō)明模型的預(yù)測(cè)越準(zhǔn)確。例如，在一個(gè)回歸問(wèn)題（比如預(yù)測(cè)房?jī)r(jià)）中，常用的損失函數(shù)是均方誤差（MSE）。假設(shè)真實(shí)房?jī)r(jià)是y，模型預(yù)測(cè)的房?jī)r(jià)是y^，均方誤差損失函數(shù)可以表示為...