PyTorch 該怎么學?太簡單了
挺多小伙伴問過PyTorch該怎么學,經過長期實踐來看,初學者需要熟知的概念和用法真的不多,以下總結的簡明指南一起看看吧!
構建Tensor
PyTorch 中的 Tensors 是多維數組,類似于 NumPy 的 ndarrays,但可以在 GPU 上運行:
import torch
# Create a 2x3 tensor
tensor = torch.tensor([[1, 2, 3], [4, 5, 6]])
print(tensor)
動態計算圖
PyTorch 使用動態計算圖,在執行操作時即時構建計算圖,這為在運行時修改圖形提供了靈活性:
# Define two tensors
a = torch.tensor([2.], requires_grad=True)
b = torch.tensor([3.], requires_grad=True)
# Compute result
c = a * b
c.backward()
# Gradients
print(a.grad) # Gradient w.r.t a
GPU加速
PyTorch 允許在 CPU 和 GPU 之間輕松切換。使用 .to(device) 即可:
device = "cuda" if torch.cuda.is_available() else "cpu"
tensor = tensor.to(device)
Autograd:自動微分
PyTorch 的 autograd 為tensor的所有運算提供了自動微分功能,設置 requires_grad=True可以跟蹤計算:
x = torch.tensor([2.], requires_grad=True)
y = x**2
y.backward()
print(x.grad) # Gradient of y w.r.t x
模塊化神經網絡
PyTorch 提供了 nn.Module 類來定義神經網絡架構,通過子類化創建自定義層:
import torch.nn as nn
class SimpleNN(nn.Module):
def __init__(self):
super().__init__()
self.fc = nn.Linear(1, 1)
def forward(self, x):
return self.fc(x)
預定義層和損失函數
PyTorch 在 nn 模塊中提供了各種預定義層、損失函數和優化算法:
loss_fn = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
Dataset 與 DataLoader
為實現高效的數據處理和批處理,PyTorch 提供了 Dataset 和 DataLoader 類:
from torch.utils.data import Dataset, DataLoader
class CustomDataset(Dataset):
# ... (methods to define)
data_loader = DataLoader(dataset, batch_size=32, shuffle=True)
模型訓練(循環)
通常PyTorch 的訓練遵循以下模式:前向傳播、計算損失、反向傳遞和參數更新:
for epoch in range(epochs):
for data, target in data_loader:
optimizer.zero_grad()
output = model(data)
loss = loss_fn(output, target)
loss.backward()
optimizer.step()
模型序列化
使用 torch.save() 和 torch.load() 保存并加載模型:
# Save
torch.save(model.state_dict(), 'model_weights.pth')
# Load
model.load_state_dict(torch.load('model_weights.pth'))
JIT
PyTorch 默認以eager模式運行,但也為模型提供即時(JIT)編譯:
scripted_model = torch.jit.script(model)
scripted_model.save("model_jit.pt")