英偉達新品“掌心AI超算”,¥1800跑8B多模態模型,算力暴增70%價格腰斬
“英偉達版樹莓派”這波良心了,性能漲70%,降價50%。
老黃召開廚房發布會,從烤箱里端出這臺“掌心AI超算”。
△怎么不穿皮衣了
新版Jetson Orin Nano開發版套件,算力從40 TOPS漲到67 TOPS(INT8),內存帶寬增加50%,達到102GB/s,功耗僅25瓦。
價格卻降了50%,從$499降到$249(約人民幣1800元)。
67 TOPS什么概念?
- 比目前英特爾、AMD或高通AI PC中的大部分NPU都快
- 能跑主流的7B、8B大模型量化版,如阿里Qwen,Llama等
- 最高支持4個攝像頭,也能跑8B的視覺語言模型和ViT模型
英偉達稱這是“最實惠的生成式AI超級計算機”。
無論是用來創建基于RAG的聊天機器人、視覺AI Agent,還是部署基于AI的機器人,都是理想的解決方案。
開發套件包括一個Jetson Orin Nano 8GB系統級模塊(SoM)和一個參考載板,可用于邊緣AI應用的原型設計,功耗最高25w。
采用6核Arm CPU和NVIDIA Ampere架構GPU,GPU配備1024個CUDA核心和32個張量核心,支持多個并發AI應用管道和高性能推理。它最多可以支持4個攝像頭,提供比以前版本更高的分辨率和幀率。
The Register估計在運行4位量化版Llama 3.1 8B模型時,能達到約18-20 tokens/s的速度。
Jetson支持一系列英偉達AI軟件,包括用于機器人的NVIDIA ISAAC、用于視覺AI的NVIDIA Metropolis 和用于傳感器處理的NVIDIA Holoscan。
另外可以使用NVIDIA Omniverse Replicator生成合成數據,并使用NVIDIA TAO工具包微調預訓練模型,可以縮短開發時間。
老黃稱這個系列為一種全新的處理器——機器人處理器。
推出第一代產品時,沒人理解英偉達在做什么
到現在,它已經支持了各種機器人,帶輪子的、兩條腿的、三條腿的。
額外的好消息是,新推出的軟件更新,也將為買過舊版開發套件的用戶帶來生成式AI性能提升。
有網友表示,黃仁勛就是新的圣誕老人。
參考鏈接:
[1]https://blogs.nvidia.com/blog/jetson-generative-ai-supercomputer/。
[2]https://www.theregister.com/2024/12/17/nvidia_jetson_orin/。