成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

Github1.3萬星,迅猛發展的JAX對比TensorFlow、PyTorch

新聞 機器學習
在機器學習領域,大家可能對 TensorFlow 和 PyTorch 已經耳熟能詳,但除了這兩個框架,一些新生力量也不容小覷,它就是谷歌推出的 JAX。

  [[416349]]

在機器學習領域,大家可能對 TensorFlow 和 PyTorch 已經耳熟能詳,但除了這兩個框架,一些新生力量也不容小覷,它就是谷歌推出的 JAX。很多研究者對其寄予厚望,希望它可以取代 TensorFlow 等眾多機器學習框架。

JAX 最初由谷歌大腦團隊的 Matt Johnson、Roy Frostig、Dougal Maclaurin 和 Chris Leary 等人發起。

目前,JAX 在 GitHub 上已累積 13.7K 星。

Github1.3萬星,迅猛發展的JAX對比TensorFlow、PyTorch

項目地址:https://github.com/google/jax

迅速發展的 JAX

JAX 的前身是 Autograd,其借助 Autograd 的更新版本,并且結合了 XLA,可對 Python 程序與 NumPy 運算執行自動微分,支持循環、分支、遞歸、閉包函數求導,也可以求三階導數;依賴于 XLA,JAX 可以在 GPU 和 TPU 上編譯和運行 NumPy 程序;通過 grad,可以支持自動模式反向傳播和正向傳播,且二者可以任意組合成任何順序。

Github1.3萬星,迅猛發展的JAX對比TensorFlow、PyTorch

開發 JAX 的出發點是什么?說到這,就不得不提 NumPy。NumPy 是 Python 中的一個基礎數值運算庫,被廣泛使用。但是 numpy 不支持 GPU 或其他硬件加速器,也沒有對反向傳播的內置支持,此外,Python 本身的速度限制阻礙了 NumPy 使用,所以少有研究者在生產環境下直接用 numpy 訓練或部署深度學習模型。

在此情況下,出現了眾多的深度學習框架,如 PyTorch、TensorFlow 等。但是 numpy 具有靈活、調試方便、API 穩定等獨特的優勢。而 JAX 的主要出發點就是將 numpy 的以上優勢與硬件加速結合。

目前,基于 JAX 已有很多優秀的開源項目,如谷歌的神經網絡庫團隊開發了 Haiku,這是一個面向 Jax 的深度學習代碼庫,通過 Haiku,用戶可以在 Jax 上進行面向對象開發;又比如 RLax,這是一個基于 Jax 的強化學習庫,用戶使用 RLax 就能進行 Q-learning 模型的搭建和訓練;此外還包括基于 JAX 的深度學習庫 JAXnet,該庫一行代碼就能定義計算圖、可進行 GPU 加速。可以說,在過去幾年中,JAX 掀起了深度學習研究的風暴,推動了科學研究迅速發展。

JAX 的安裝

如何使用 JAX 呢?首先你需要在 Python 環境或 Google colab 中安裝 JAX,使用 pip 進行安裝:

  1. $ pip install --upgrade jax jaxlib 

注意,上述安裝方式只是支持在 CPU 上運行,如果你想在 GPU 執行程序,首先你需要有 CUDA、cuDNN ,然后運行以下命令(確保將 jaxlib 版本映射到 CUDA 版本):

  1. $ pip install --upgrade jax jaxlib==0.1.61+cuda110 -f https://storage.googleapis.com/jax-releases/jax_releases.html 

現在將 JAX 與 Numpy 一起導入:

  1. import jax 
  2. import jax.numpy as jnp 
  3. import numpy as np 

JAX 的一些特性

使用 grad() 函數自動微分:這對深度學習應用非常有用,這樣就可以很容易地運行反向傳播,下面為一個簡單的二次函數并在點 1.0 上求導的示例:

  1. from jax import grad 
  2. def f(x): 
  3.   return 3*x**2 + 2*x + 5 
  4. def f_prime(x): 
  5.   return 6*x +2 
  6. grad(f)(1.0
  7. # DeviceArray(8., dtype=float32) 
  8. f_prime(1.0
  9. 8.0 

jit(Just in time) :為了利用 XLA 的強大功能,必須將代碼編譯到 XLA 內核中。這就是 jit 發揮作用的地方。要使用 XLA 和 jit,用戶可以使用 jit() 函數或 @jit 注釋。

  1. from jax import jit 
  2. x = np.random.rand(1000,1000
  3. y = jnp.array(x) 
  4. def f(x): 
  5.   for _ in range(10): 
  6.       x = 0.5*x + 0.1* jnp.sin(x) 
  7.   return x 
  8. g = jit(f) 
  9. %timeit -n 5 -r 5 f(y).block_until_ready() 
  10. 5 loops, best of 510.8 ms per loop 
  11. %timeit -n 5 -r 5 g(y).block_until_ready() 
  12. 5 loops, best of 5341 µs per loop 

pmap:自動將計算分配到所有當前設備,并處理它們之間的所有通信。JAX 通過 pmap 轉換支持大規模的數據并行,從而將單個處理器無法處理的大數據進行處理。要檢查可用設備,可以運行 jax.devices():

  1. from jax import pmap 
  2. def f(x): 
  3.   return jnp.sin(x) + x**2 
  4. f(np.arange(4)) 
  5. #DeviceArray([0.       , 1.841471 , 4.90929759.14112  ], dtype=float32) 
  6. pmap(f)(np.arange(4)) 
  7. #ShardedDeviceArray([0.       , 1.841471 , 4.90929759.14112  ], dtype=float32) 

vmap:是一種函數轉換,JAX 通過 vmap 變換提供了自動矢量化算法,大大簡化了這種類型的計算,這使得研究人員在處理新算法時無需再去處理批量化的問題。示例如下:

  1. from jax import vmap 
  2. def f(x): 
  3.   return jnp.square(x) 
  4. f(jnp.arange(10)) 
  5. #DeviceArray([ 0,  1,  4,  9162536496481], dtype=int32) 
  6. vmap(f)(jnp.arange(10)) 
  7. #DeviceArray([ 0,  1,  4,  9162536496481], dtype=int32) 

TensorFlow vs PyTorch vs Jax

在深度學習領域有幾家巨頭公司,他們所提出的框架被廣大研究者使用。比如谷歌的 TensorFlow、Facebook 的 PyTorch、微軟的 CNTK、亞馬遜 AWS 的 MXnet 等。

每種框架都有其優缺點,選擇的時候需要根據自身需求進行選擇。

Github1.3萬星,迅猛發展的JAX對比TensorFlow、PyTorch

我們以 Python 中的 3 個主要深度學習框架——TensorFlow、PyTorch 和 Jax 為例進行比較。這些框架雖然不同,但有兩個共同點:

  • 它們是開源的。這意味著如果庫中存在錯誤,使用者可以在 GitHub 中發布問題(并修復),此外你也可以在庫中添加自己的功能;
  • 由于全局解釋器鎖,Python 在內部運行緩慢。所以這些框架使用 C/C++ 作為后端來處理所有的計算和并行過程。

那么它們的不同體現在哪些方面呢?如下表所示,為 TensorFlow、PyTorch、JAX 三個框架的比較。

Github1.3萬星,迅猛發展的JAX對比TensorFlow、PyTorch

TensorFlow

TensorFlow 由谷歌開發,最初版本可追溯到 2015 年開源的 TensorFlow0.1,之后發展穩定,擁有強大的用戶群體,成為最受歡迎的深度學習框架。但是用戶在使用時,也暴露了 TensorFlow 缺點,例如 API 穩定性不足、靜態計算圖編程復雜等缺陷。因此在 TensorFlow2.0 版本,谷歌將 Keras 納入進來,成為 tf.keras。

目前 TensorFlow 主要特點包括以下:

  • 這是一個非常友好的框架,高級 API-Keras 的可用性使得模型層定義、損失函數和模型創建變得非常容易;
  • TensorFlow2.0 帶有 Eager Execution(動態圖機制),這使得該庫更加用戶友好,并且是對以前版本的重大升級;
  • Keras 這種高級接口有一定的缺點,由于 TensorFlow 抽象了許多底層機制(只是為了方便最終用戶),這讓研究人員在處理模型方面的自由度更小;
  • Tensorflow 提供了 TensorBoard,它實際上是 Tensorflow 可視化工具包。它允許研究者可視化損失函數、模型圖、模型分析等。

PyTorch

PyTorch(Python-Torch) 是來自 Facebook 的機器學習庫。用 TensorFlow 還是 PyTorch?在一年前,這個問題毫無爭議,研究者大部分會選擇 TensorFlow。但現在的情況大不一樣了,使用 PyTorch 的研究者越來越多。PyTorch 的一些最重要的特性包括:

Github1.3萬星,迅猛發展的JAX對比TensorFlow、PyTorch
  • 與 TensorFlow 不同,PyTorch 使用動態類型圖,這意味著執行圖是在運行中創建的。它允許我們隨時修改和檢查圖的內部結構;
  • 除了用戶友好的高級 API 之外,PyTorch 還包括精心構建的低級 API,允許對機器學習模型進行越來越多的控制。我們可以在訓練期間對模型的前向和后向傳遞進行檢查和修改輸出。這被證明對于梯度裁剪和神經風格遷移非常有效;
  • PyTorch 允許用戶擴展代碼,可以輕松添加新的損失函數和用戶定義的層。PyTorch 的 Autograd 模塊實現了深度學習算法中的反向傳播求導數,在 Tensor 類上的所有操作, Autograd 都能自動提供微分,簡化了手動計算導數的復雜過程;
  • PyTorch 對數據并行和 GPU 的使用具有廣泛的支持;
  • PyTorch 比 TensorFlow 更 Python 化。PyTorch 非常適合 Python 生態系統,它允許使用 Python 類調試器工具來調試 PyTorch 代碼。

JAX

JAX 是來自 Google 的一個相對較新的機器學習庫。它更像是一個 autograd 庫,可以區分原生的 python 和 NumPy 代碼。JAX 的一些特性主要包括:

  • 正如官方網站所描述的那樣,JAX 能夠執行 Python+NumPy 程序的可組合轉換:向量化、JIT 到 GPU/TPU 等等;
  • 與 PyTorch 相比,JAX 最重要的方面是如何計算梯度。在 Torch 中,圖是在前向傳遞期間創建的,梯度在后向傳遞期間計算, 另一方面,在 JAX 中,計算表示為函數。在函數上使用 grad() 返回一個梯度函數,該函數直接計算給定輸入的函數梯度;
  • JAX 是一個 autograd 工具,不建議單獨使用。有各種基于 JAX 的機器學習庫,其中值得注意的是 ObJax、Flax 和 Elegy。由于它們都使用相同的核心并且接口只是 JAX 庫的 wrapper,因此可以將它們放在同一個 bracket 下;
  • Flax 最初是在 PyTorch 生態系統下開發的,更注重使用的靈活性。另一方面,Elegy 受 Keras 啟發。ObJAX 主要是為以研究為導向的目的而設計的,它更注重簡單性和可理解性。

 

 

責任編輯:張燕妮 來源: 機器之心Pro
相關推薦

2018-02-09 15:34:57

HadoopSaas云服務

2015-09-30 15:46:23

大數據醫療

2021-07-21 08:54:49

云計算IT人才緊缺人才需求

2021-05-05 22:34:58

人工智能無人駕駛技術j

2010-01-08 11:34:27

AMD百金通臺式機

2013-07-31 12:37:10

工業軟件齊魯石化石化盈科

2010-09-27 14:25:51

2015-03-10 16:16:42

TurboMail

2021-12-22 09:24:55

人工智能AI

2015-05-22 14:24:37

IBMPOWER開放平臺

2022-06-15 14:48:39

谷歌TensorFlowMeta

2022-02-16 13:58:53

谷歌深度學習框架

2018-10-19 12:37:47

GitHub代碼開發者

2020-10-15 11:22:34

PyTorchTensorFlow機器學習

2024-04-01 12:09:16

模型數據

2022-09-21 10:40:57

TensorFlowPyTorchJAX

2019-06-21 11:06:15

Python 開發編程語言

2019-09-27 15:21:03

GitHub代碼開發者

2019-08-09 18:08:13

程序員技能開發者
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: com.国产 | 欧美日韩一区精品 | 中文字幕亚洲一区二区三区 | 美女一级黄 | 日本一二三区高清 | a国产视频 | 欧美片网站免费 | 综合久久综合久久 | 蜜臀网站 | 精品欧美一区二区三区久久久 | 日韩中文电影 | 亚洲欧美视频一区 | 99久久婷婷国产亚洲终合精品 | 四虎首页| 欧美在线一区二区三区 | 色免费视频 | 欧美久久久网站 | 草久网| 精品一区二区三区91 | 国产精品久久久久久久7电影 | 久久99精品久久久久 | 天天插天天搞 | 成人精品免费视频 | 91精品国产综合久久国产大片 | 婷婷精品 | 亚洲精品一 | 九九热国产精品视频 | 欧洲视频一区二区 | 久久99精品久久久97夜夜嗨 | 日韩成人在线视频 | 久久久久久av | 欧美一区二区久久 | 毛片在线视频 | 亚洲国产精品成人 | 中文字幕第十一页 | 欧美日韩专区 | 天天操天天干天天曰 | 草比av| 国产精品久久久久久久久污网站 | 亚洲人a| 精品中文字幕一区 |