突破 Pytorch 核心點(diǎn)，自動(dòng)求導(dǎo) ！！

作者：小壯 2024-01-08 08:31:26

PyTorch是一個(gè)流行的深度學(xué)習(xí)框架，它通過(guò)動(dòng)態(tài)計(jì)算圖和自動(dòng)求導(dǎo)機(jī)制使得梯度計(jì)算變得簡(jiǎn)單而靈活。

嗨，我是小壯！

關(guān)于pytorch中的自動(dòng)求導(dǎo)操作，介紹有關(guān)pytorch自動(dòng)求導(dǎo)的概念.

自動(dòng)求導(dǎo)是深度學(xué)習(xí)框架中的一項(xiàng)重要功能，它允許機(jī)器學(xué)習(xí)模型自動(dòng)計(jì)算梯度，進(jìn)而進(jìn)行參數(shù)更新和優(yōu)化。

自動(dòng)求導(dǎo)

自動(dòng)求導(dǎo)是指機(jī)器學(xué)習(xí)框架能夠自動(dòng)計(jì)算函數(shù)的導(dǎo)數(shù)（梯度），而不需要手動(dòng)推導(dǎo)或編寫導(dǎo)數(shù)的代碼。這對(duì)于訓(xùn)練深度學(xué)習(xí)模型至關(guān)重要，因?yàn)槟Ｐ屯ǔ０罅繀?shù)，而手動(dòng)計(jì)算梯度將是一項(xiàng)復(fù)雜和容易出錯(cuò)的任務(wù)。PyTorch通過(guò)提供自動(dòng)求導(dǎo)功能，使得用戶能夠輕松地計(jì)算梯度并進(jìn)行反向傳播，實(shí)現(xiàn)模型的參數(shù)更新。

一點(diǎn)原理

PyTorch中的自動(dòng)求導(dǎo)是建立在動(dòng)態(tài)計(jì)算圖（Dynamic Computational Graph）的基礎(chǔ)上的。計(jì)算圖是一種表示函數(shù)計(jì)算過(guò)程的圖結(jié)構(gòu)，其中節(jié)點(diǎn)表示操作，邊表示數(shù)據(jù)流向。動(dòng)態(tài)計(jì)算圖的特點(diǎn)是計(jì)算圖的結(jié)構(gòu)可以根據(jù)實(shí)際執(zhí)行過(guò)程而動(dòng)態(tài)生成，而不是事先定義好。

在PyTorch中，用戶執(zhí)行的每個(gè)操作都被記錄下來(lái)，從而構(gòu)建了一個(gè)計(jì)算圖。當(dāng)需要計(jì)算梯度時(shí)，PyTorch可以根據(jù)這個(gè)計(jì)算圖進(jìn)行反向傳播，自動(dòng)計(jì)算出每個(gè)參數(shù)對(duì)于損失函數(shù)的梯度。這種基于動(dòng)態(tài)計(jì)算圖的自動(dòng)求導(dǎo)機(jī)制使得PyTorch具有靈活性和可擴(kuò)展性，適用于各種復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

自動(dòng)求導(dǎo)的基礎(chǔ)操作

1. 張量（Tensor）

在PyTorch中，張量是自動(dòng)求導(dǎo)的基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)。張量是一個(gè)多維數(shù)組，類似于NumPy中的數(shù)組，但具有額外的特性，如自動(dòng)求導(dǎo)。用戶可以通過(guò)torch.Tensor類創(chuàng)建張量，并在其上執(zhí)行各種操作。

import torch

# 創(chuàng)建張量
x = torch.tensor([2.0], requires_grad=True)

在上述例子中，requires_grad=True表示我們希望對(duì)這個(gè)張量進(jìn)行自動(dòng)求導(dǎo)。

2. 計(jì)算圖構(gòu)建

每個(gè)執(zhí)行的操作都會(huì)在計(jì)算圖中創(chuàng)建一個(gè)節(jié)點(diǎn)。PyTorch提供了各種張量操作，如加法、乘法、激活函數(shù)等，這些操作都會(huì)在計(jì)算圖中留下痕跡。

# 張量操作
y = x ** 2
z = 2 * y + 3

在上述例子中，y和z的計(jì)算過(guò)程都被記錄在計(jì)算圖中。

3. 梯度計(jì)算與反向傳播

一旦計(jì)算圖構(gòu)建完成，可以通過(guò)調(diào)用.backward()方法進(jìn)行反向傳播，自動(dòng)計(jì)算梯度。

# 反向傳播
z.backward()

此時(shí)，x的梯度可以通過(guò)訪問(wèn)x.grad來(lái)獲取。

# 獲取梯度
print(x.grad)

4. 禁用梯度跟蹤

有時(shí)候，我們希望禁用對(duì)某些操作的梯度跟蹤，可以使用torch.no_grad()上下文管理器。

with torch.no_grad():
    # 在這個(gè)區(qū)域內(nèi)的操作不會(huì)被記錄在計(jì)算圖中
    w = x + 1

5. 清零梯度

在訓(xùn)練循環(huán)中，通常需要在每次反向傳播之前將梯度清零，以避免梯度累積。

# 清零梯度
x.grad.zero_()

一個(gè)完整案例：線性回歸的自動(dòng)求導(dǎo)

為了更具體地演示自動(dòng)求導(dǎo)的過(guò)程，讓我們考慮一個(gè)簡(jiǎn)單的線性回歸問(wèn)題。我們定義一個(gè)線性模型和一個(gè)均方誤差損失函數(shù)，并使用自動(dòng)求導(dǎo)來(lái)優(yōu)化模型參數(shù)。

import torch

# 數(shù)據(jù)準(zhǔn)備
X = torch.tensor([[1.0], [2.0], [3.0]])
y = torch.tensor([[2.0], [4.0], [6.0]])

# 模型參數(shù)
w = torch.tensor([[0.0]], requires_grad=True)
b = torch.tensor([[0.0]], requires_grad=True)

# 模型和損失函數(shù)
def linear_model(X, w, b):
    return X @ w + b

def mean_squared_error(y_pred, y_true):
    return ((y_pred - y_true) ** 2).mean()

# 訓(xùn)練循環(huán)
learning_rate = 0.01
epochs = 100

for epoch in range(epochs):
    # 前向傳播
    y_pred = linear_model(X, w, b)
    loss = mean_squared_error(y_pred, y)

    # 反向傳播
    loss.backward()

    # 更新參數(shù)
    with torch.no_grad():
        w -= learning_rate * w.grad
        b -= learning_rate * b.grad

        # 清零梯度
        w.grad.zero_()
        b.grad.zero_()

# 打印最終參數(shù)
print("訓(xùn)練后的參數(shù)：")
print("權(quán)重 w:", w)
print("偏置 b:", b)

在這個(gè)例子中，我們定義了一個(gè)簡(jiǎn)單的線性模型和均方誤差損失函數(shù)。通過(guò)多次迭代訓(xùn)

練循環(huán)，模型的參數(shù)w和b會(huì)被優(yōu)化，使得損失函數(shù)最小化。