2022年,PyTorch在AI頂會的占比已經上80%了
從早期的學術框架 Caffe、Theano,到后來的PyTorch、TensorFlow,自 2012 年深度學習再度成為焦點以來,很多機器學習框架成為研究者和業界工作者的新寵。
2018 年底,谷歌推出了全新的JAX框架,其受歡迎程度也一直在穩步提升。很多研究者對其寄予厚望,希望它可以取代 TensorFlow 等眾多深度學習框架。
不過,PyTorch 和 TensorFlow仍是ML框架領域的兩大實力玩家,其他新生框架的力量暫時還無法匹敵。而PyTorch 和 TensorFlow之間則是此消彼長的關系,力量對比也在悄悄發生著變化。
2019年10月,康奈爾大學本科生、曾在PyTorch 團隊實習的Horace He曾對PyTorch 和 TensorFlow在學界的使用情況進行了數據統計。結果顯示,研究者已經大批涌向了 PyTorch,不過當時看來,業界的首選仍然是 TensorFlow。
如下圖所示,從2019年中期開始,在統計的各大頂會中,PyTorch從使用率指標上就已完成了對TensorFlow的反超。
數據收集時間:2019年10月。
當時的開發者社區曾熱議:未來,誰能在 ML 框架之爭中迎來「高光時刻」?兩年后,Horace He再次給出了更新后的統計結果。
截止目前,EMNLP、ACL、ICLR三家頂會的PyTorch的占比已經超過80%,這一占比數字在其他會議中也都保持在70%之上。短短兩年間,TensorFlow的生存空間又大幅縮小。
PyTorch 在學界的「超車」
具體到每一家頂會,作者也在圖表中展示了詳細數據:
以CVPR為例,在CVPR 2018之前,TensorFlow的使用率還高于PyTorch,而在下一年,局勢立即逆轉。
CVPR 2019的PyTorch使用率為22.72%(294篇),TensorFlow的使用率變為11.44%(148篇);到了CVPR 2020,這兩個數字分別變成了28.49%(418篇)和7.7%(113篇)。
在ICML、ICLR、NeurIPS這些會議中,依舊是同樣的競爭形勢:
PyTorch一騎絕塵,TensorFlow則持續下跌。在ICLR 2022中,PyTorch使用率為32.20%(1091篇),TensorFlow跌到了6.14%(208篇),拉開了五倍的差距。
TensorFlow 在學界還有未來嗎?
所以,退守一方的TensorFlow,怎么就到了今天這個地步?
在Hackrnews社區,這一話題引發了開發者的熱議:
「在學術出版中,能夠將你的工作與 SOTA 進行比較是非常關鍵的。如果你所在地區的其他人都使用某個框架,那么你也應該這樣做。過去幾年,Pytorch是我關注最多的框架了?!?/p>
「但Tensorflow 的一個亮點是靜態圖表。隨著模型變得更加密集,并且需要不同的部分并行執行,我們在 PyTorch 的運行模型中看到了一些挑戰?!?/p>
在這位開發者看來,如果想并行地做很多事情,Tensorflow 還是有一些特性是其他產品無法比擬的。這完全取決于你在做什么。
還有人說,Tensorflow的式微是因為出現了策略上的失誤。
「我認為 Tensorflow 在學術界做出了一個糟糕的舉動,因為它在早期版本中使用起來非常困難。當然,它的性能總是比 PyTorch 好,但當你是一個工作負擔很重的博士生時,你就不太關心你的代碼是否高效,而更關心你的代碼是否能work。有人說 PyTorch 的調試相對輕松,所以那些早期的模型用了PyTorch發表,后來很多人也就來到了PyTorch。」
你怎么看呢?