前些天，英偉達(dá)發(fā)布了一大堆東西，其中包括一款 AI 超級(jí)計(jì)算機(jī) Project DIGITS，機(jī)器之心也在第一時(shí)間進(jìn)行了報(bào)道，參閱《RTX5090 震撼發(fā)布，國(guó)行 16499 元起，黃仁勛「美國(guó)隊(duì)長(zhǎng)」pose 亮翻全場(chǎng)》。在這篇文章的評(píng)論區(qū)，一位讀者的問題引發(fā)了不少爭(zhēng)議。

雖然該問題的最高贊回復(fù)表示這是「英偉達(dá)被黑得最慘的一次」，但實(shí)際上使用 Mac Mini 作為個(gè)人的大模型運(yùn)行平臺(tái)并不是什么罕見操作。

Fast Company 甚至認(rèn)為 M4 Mac Mini 是「測(cè)試 AI 的完美計(jì)算機(jī)」。

你也能在社交網(wǎng)絡(luò)上找到許多用戶分享的經(jīng)驗(yàn)。

其實(shí)，上圖中的這位 Alex Cheema 不僅僅是在 Mac Mini 上運(yùn)行自己的個(gè)人 LLM 集群，也是在為自家公司 EXO Labs 做概念驗(yàn)證。其在今年初宣布推出了 EXO Gym 競(jìng)賽，開始測(cè)試能否在較慢的互聯(lián)網(wǎng)帶寬上實(shí)現(xiàn)有效的低延遲訓(xùn)練，而他們?yōu)榇藴?zhǔn)備的 Mac Mini 數(shù)量更是多達(dá) 1000 臺(tái)！是的，你沒有看錯(cuò)，不只是使用 Mac Mini 來(lái)執(zhí)行推理，還使用它們來(lái)訓(xùn)練模型。

當(dāng)然，這種做法同樣也是極具爭(zhēng)議，不過有興趣自己嘗試的讀者也可使用他們的開源軟件庫(kù)，目前該項(xiàng)目已經(jīng)收獲了超過 1.84 萬(wàn) star。

• GitHub 地址：https://github.com/exo-explore/exo

總之，至少在運(yùn)行推理方面，看起來(lái)使用 Mac Mini 確實(shí)可行。現(xiàn)在，我們就來(lái)嚴(yán)肅地討論一下這個(gè)問題：對(duì)于個(gè)人用戶而言，如果想自己跑本地大模型，Mac Mini 和英偉達(dá) Project DIGITS 到底選哪個(gè)更好？

參數(shù)對(duì)比

比較誰(shuí)更勝一籌的最直觀方法是比較它們的參數(shù)。

價(jià)格

首先來(lái)看價(jià)格。

根據(jù)芯片、內(nèi)存和硬盤的不同配置，M4 和 M4 Pro 芯片的國(guó)行版 Mac Mini 價(jià)格從 4499 元到 35749 元人民幣不等，國(guó)際版則是從 599 美元到 4699 美元不等。

而 Project DIGITS 目前已知的起售價(jià)為 3000 美元。而這個(gè) 3000 美元版本的配置情況大概是 128GB 內(nèi)存和高達(dá) 4TB 的 NVMe 存儲(chǔ)。

而 64GB 內(nèi)存和 4TB 硬盤的 M4 Pro 版 Mac Mini 的官方價(jià)格就已經(jīng)達(dá)到了 3199 美元起，超過了 Project DIGITS。

配備 12 核 CPU、16 核 GPU 和 16 核 Neural Engine 的 M4 Pro 芯片的 Mac Mini，當(dāng)選擇 64GB 內(nèi)存和 4TB 硬盤時(shí)，售價(jià)為 3199 美元

因此至少在價(jià)格上，Project DIGITS 先拿下一分。

性能參數(shù)

目前，由于 Project DIGITS 還沒上市，因此我們自然無(wú)法獲取其與 Mac Mini 的直接性能對(duì)比數(shù)據(jù)，但我們可以通過一些基本的配置情況來(lái)進(jìn)行最基礎(chǔ)的評(píng)估。

首先是 CPU 和 GPU。Project DIGITS 采用的計(jì)算核心是 GB10 Superchip，由 Grace CPU 和 Blackwell GPU 組成。其中，Grace CPU 配置了 20 個(gè)采用 Arm 架構(gòu)構(gòu)建的高能效核心，GPU 則是先進(jìn)的 Blackwell，采用了最新一代 CUDA 核心和第五代 Tensor Cores，可實(shí)現(xiàn) 1 PetaFLOP FP4 的 AI 計(jì)算。1 PetaFLOP！著實(shí)嚇人，不過這是 FP4 精度的。如果等價(jià)到 FP16 精度，則可以說是 250 TFLOPS（當(dāng)然這種算法很不嚴(yán)謹(jǐn)）。

英偉達(dá)表示，借助這款超級(jí)計(jì)算機(jī)，開發(fā)者可以運(yùn)行多達(dá) 2000 億參數(shù)的大型語(yǔ)言模型，從而加速 AI 創(chuàng)新。此外，借助 NVIDIA ConnectX 網(wǎng)絡(luò)，還可將兩臺(tái) Project DIGITS AI 超級(jí)計(jì)算機(jī)連接起來(lái)，運(yùn)行多達(dá) 4050 億參數(shù)的模型。也就是說，足以運(yùn)行 Llama 3.1 405B。

而 Apple M4 Pro 芯片的 CPU 則是 12 核，其中包含 8 個(gè)性能核心與 4 個(gè)效率核心；GPU 則是 16 核版本。而其在 FP16 精度下的速度為 17 TFLOPS 。

根據(jù) Alex Cheema 的計(jì)算，Project DIGITS 可以說在各個(gè)層面都碾壓了 M4 Pro Mac Mini。

簡(jiǎn)單算算性價(jià)比：

• Project DIGITS：250 TFLOPS / $3,000 ≈ 0.083 TFLOPS/美元
• M4 Pro Mac Mini：17 TFLOPS / $2,200 ≈ 0.0077 TFLOPS/美元

也就是說，用同樣的錢，能從 Project DIGITS 獲得超過 M4 Pro Mac Mini 超過 10 倍的算力！

不過知乎用戶 Karminski - 牙醫(yī)也指出了 Project DIGITS 的一大不足。他表示「它是統(tǒng)一內(nèi)存，即 CPU 和 CPU 共享 LPDDR5X。它不是 GDDR6，也不是 HBM2 的。」

雖然該設(shè)備的內(nèi)存有 128 GB，「但是根據(jù) Grace 架構(gòu) CPU 的 Product Brief，單 CPU 的內(nèi)存帶寬最大只有 512GB/s。所以如果用這個(gè)設(shè)備來(lái)運(yùn)行大語(yǔ)言模型，瓶頸就會(huì)變成這個(gè)內(nèi)存帶寬。」

他也做了一番計(jì)算，得出的結(jié)論是「在 512GB/s 的情況下，運(yùn)行 70b-4bit 規(guī)模的模型，生成速度理論最大值是 512/40=12.8 token/s。如果想要運(yùn)行 200B 規(guī)模的模型 (200B4bit 量化大概是 114GB)，理論生成速度是 512/114≈4.5token/s」。

因此，Project DIGITS 可能也暗暗經(jīng)受了老黃擅長(zhǎng)的刀法。

Project DIGITS 果真賽高

整體來(lái)看，讀者 Thomas Copper 確實(shí)沒有說錯(cuò)，至少在 AI 計(jì)算任務(wù)上，Mac Mini 確實(shí)遠(yuǎn)遠(yuǎn)不及 Project DIGITS。但需要說明，Mac Mini 并不是專為 AI 任務(wù)打造，也適用于各種日常和工作任務(wù)。

之前不少人表示 Mac Mini 是實(shí)現(xiàn) AI 普及化（democratize AI）的開始，但實(shí)際比較下來(lái)，或許真正的開始是英偉達(dá) Project DIGITS！

不過也需指出，Project DIGITS 才剛剛露臉，預(yù)計(jì)要到 5 月份才上市，市場(chǎng)表現(xiàn)究竟如何還有待檢驗(yàn)——畢竟我們到時(shí)才能真正知道「皮衣刀客」究竟刀了哪些地方。但至少?gòu)纳缃痪W(wǎng)絡(luò)上的分享來(lái)看，已經(jīng)有不少人準(zhǔn)備好自己的錢包了。

對(duì)此，你有什么看法呢？