現(xiàn)在，您可以在Python API中干凈地復(fù)制 Tensor 對(duì)象上的所有屬性，而不僅僅是簡(jiǎn)單的 Tensor 屬性。在 torch.linspace 和 torch.logspace 中，Steps 參數(shù)不再是可選的。在 PyTorch 1.10.2 中該參數(shù)默認(rèn)為 100。現(xiàn)在，它不再是一種選擇。PyTorch 還刪除了錯(cuò)誤公開(kāi)的 torch.hub.import_module 函數(shù)。不推薦在具有不同維數(shù)的張量上調(diào)用 xT。現(xiàn)在，它只接受 0 或 2 維的張量。

C++前端標(biāo)頭現(xiàn)在減少為僅包含使用的 aten 運(yùn)算符的子集。現(xiàn)在，如果用戶包含來(lái)自 C++ 前端的標(biāo)頭，則可能不會(huì)傳遞包含 aten 運(yùn)算符。但是，用戶可以直接在他們的文件中添加#include <ATen/ATen.h> 以保持包含每個(gè)aten 運(yùn)算符的舊行為。PyTorch 1.11 還刪除了 c10::List 和 c10::Dict 移動(dòng)構(gòu)造函數(shù)的自定義實(shí)現(xiàn)。語(yǔ)義已從“make the moved-from List/Dict empty”變?yōu)椤発eep the moved-from List/Dict unchanged”。

對(duì)于CUDA，THCeilDiv 函數(shù)和相應(yīng)的 THC/THCDeviceUtils.cuh 頭文件、THCudaCheck 和 THCudaMalloc()、THCudaFree()、THCThrustAllocator.cuh 已被刪除。

新特性

對(duì)于 Python API，PyTorch 1.11 添加了 set_deterministic_debug_mode 和 get_deterministic_debug_mode，n 維 Hermitian FFT：torch.fft.ifftn 和 torch.fft.hfftn，Wishart 分布到 torch.distributions。PyTorch 為 torch 和 torch.linalg 模塊添加了對(duì) Python Array API 標(biāo)準(zhǔn)的初步支持。它實(shí)現(xiàn)了 Python Array API 定義的 90% 以上的運(yùn)算符，包括用于改進(jìn) DLPack 支持的 torch.from_dlpack 操作。他們還將 torch.testing 從原型轉(zhuǎn)移到了測(cè)試版。

對(duì)于Autograd，PyTorch 1.11 有一個(gè)新的 torch.utils.checkpoint 實(shí)現(xiàn)，它不使用可重入 autograd。轉(zhuǎn)發(fā)模式 AD 現(xiàn)在支持大多數(shù)操作，并包括 ctx.save_for_forward 函數(shù)到 autograd.Function。autograd.forward_ad.unpack_dual 現(xiàn)在將返回一個(gè)命名元組而不是普通元組。

線性代數(shù)運(yùn)算支持包括對(duì) torch.linalg.{eig, inverse, houseer_product, qr} 和 torch.*_solve 的正向 AD 支持。他們還為 torch.linalg.lstsq 添加了前向和后向 AD 支持，并為 linalg.pinv 添加了更廣泛的輸入。

對(duì)于ONNX，Pytorch 1.11 支持 opset 版本 15，將 nn.Module 調(diào)用導(dǎo)出為 ONNX 本地函數(shù)，導(dǎo)出 tanhshrink、hardshrink、softshrink、__xor__、isfinite log10 和對(duì)角線等新操作。它還支持使用 Apex O2 導(dǎo)出。

對(duì)于 Infra (Releng)，Pytorch 1.11 增加了對(duì) ROCm 4.3.1、ROCm 4.5.2、CUDA 11.5、CUDA 啟用 Bazel 構(gòu)建、Python 3.10 的支持。

Pytorch 1.11 現(xiàn)在引入了 FlexiBLAS 構(gòu)建支持、用于 cpp 擴(kuò)展構(gòu)建的 IS_LINUX 和 IS_MACOS 全局變量、用于 iOS CMake 構(gòu)建的 ARC 以及對(duì) IBM z14/15 SIMD 的支持。

新的更新還包括一個(gè)實(shí)驗(yàn)標(biāo)志，允許用戶指定首選的線性代數(shù)庫(kù)。添加了 linalg.matrix_exp、linalg.cross 和 linalg.diagonal（torch.diagonal 的別名）等操作。

對(duì)于 CUDA，新的更新引入了 Jiterator，使用戶能夠在運(yùn)行時(shí)編譯很少使用的 CUDA 內(nèi)核。cuSPARSE 描述符和更新的 CSR addmm、addmv_out、nvidia-smi 內(nèi)存和作為本機(jī) Python API 的利用率也已添加。

對(duì)于 Vulkan，Pytorch 1.11 增加了對(duì)幾個(gè) Torch 運(yùn)算符的支持，例如 torch.cat、torch.nn “.ConvTranspose2d 、torch.permute 、張量索引（at::slice）和torch.clone。新的 Pytorch 迭代還包括基于跟蹤的選擇性構(gòu)建功能，通過(guò)包含模型使用的運(yùn)算符來(lái)減少移動(dòng)模型的二進(jìn)制大小。

點(diǎn)擊這里（https://github.com/pytorch/pytorch/releases/tag/v1.11.0）閱讀更多。

TorchData

Pytorch 還發(fā)布了TorchData，這是一個(gè)通用模塊化數(shù)據(jù)加載原語(yǔ)庫(kù)，用于輕松構(gòu)建靈活且高性能的數(shù)據(jù)管道。

該產(chǎn)品通過(guò)稱為“DataPipes”的 Iterable 樣式和 Map 樣式的構(gòu)建塊實(shí)現(xiàn)了可組合的數(shù)據(jù)加載，這些構(gòu)建塊與 PyTorch 的DataLoader開(kāi)箱即用。

用戶可以連接多個(gè)DataPipes，形成一個(gè)數(shù)據(jù)管道，執(zhí)行所有數(shù)據(jù)轉(zhuǎn)換。

TorchData 已經(jīng)為文件打開(kāi)、文本解析、樣本轉(zhuǎn)換、緩存、混洗和批處理等核心功能實(shí)現(xiàn)了 50 多個(gè) DataPipes。想要連接到云提供商（例如 Google Drive 或 AWS S3）的用戶可以使用 fsspec 和 iopath DataPipes 來(lái)實(shí)現(xiàn)。每個(gè) IterDataPipe 和 MapDataPipe 在文檔中都有詳細(xì)的解釋和使用示例。

在此版本中，一些 PyTorch 域庫(kù)已將其數(shù)據(jù)集遷移到 DataPipes。TorchText 的流行數(shù)據(jù)集是使用 DataPipes 實(shí)現(xiàn)的，其 SST-2 二進(jìn)制文本分類教程的一部分展示了如何使用 DataPipes 為模型預(yù)處理數(shù)據(jù)。

functorch

Functorch受到Google JAX的啟發(fā)，旨在提供可組合的 vmap（矢量化）和 autodiff 轉(zhuǎn)換，這些轉(zhuǎn)換可以很好地與 PyTorch 模塊和 PyTorch autograd 配合使用。

該庫(kù)可以幫助用戶計(jì)算每個(gè)樣本的梯度，在單臺(tái)機(jī)器上運(yùn)行模型集合，在 MAML 的內(nèi)循環(huán)中將任務(wù)批處理在一起，以及計(jì)算 Jacobians 和 Hessians 以及批處理。