太酷了！iPhone、iPad、MacBook老舊設備組成異構集群，能跑Llama 3
這次，你手里的硬件設備也能在 AI 領域大展拳腳了。
將 iPhone、iPad、Macbook 進行組合，就能組裝成「異構集群推理方案」， 然后順暢的運行 Llama3 模型。
值得一提的是，這個異構集群可以是 Windows 系統，也可以是Linux、iOS 系統，并且對 Android 的支持很快到來。
異構集群正在運行中。
根據項目作者 @evilsocket 的介紹，這個異構集群包括 iPhone 15 Pro Max、iPad Pro、MacBook Pro (M1 Max)、NVIDIA GeForce 3080、2x NVIDIA Titan X Pascal。所有代碼都已經上傳到 GitHub。
看到這，網友紛紛表示，這位老哥確實不簡單。
不過也有網友開始擔心能耗問題，暫且不管速度，電費都耗不起。來回搬數據，損耗太大了。
項目介紹
上述功能的實現，離不開一個名為 Cake 的 Rust 框架。Cake 可以完成大模型（例如 Llama3）的分布式推理，旨在將消費級硬件組合成異構集群，其中消費級硬件采用多種操作系統，包括：iOS、Android、macOS、Linux 和 Windows，從而使 AI 更易于訪問。
項目地址：https://github.com/evilsocket/cake
Cake 的主要思路是將 transformer 塊分片到多個設備，以便能夠讓通常不適合單個設備 GPU 內存的模型運行推理。對同一工作線程上的連續 transformer 塊的推理是分批進行的，以便最大限度地減少數據傳輸造成的延遲。
Cake 目前支持的系統和設備如下：
編譯
安裝 Rust 后，運行下列代碼：
cargo build --release假如用戶想要在應用程序中生成 iOS 綁定，可以進行下述操作：
make ios使用
運行 worker 節點：
cake-cli --model /path/to/Meta-Llama-3-8B \ # model path, read below on how to optimize model size for workers
--mode worker \ # run as worker
--name worker0 \ # worker name in topology file
--topology topology.yml \ # topology
--address 0.0.0.0:10128 # bind address運行 master 節點：
cake-cli --model /path/to/Meta-Llama-3-8B \
--topology topology.yml其中 topology.yml 確定哪些層由哪個 worker 提供服務：
linux_server_1:
host: 'linux_server.host:10128'
description: 'NVIDIA Titan X Pascal (12GB)'
layers:
- 'model.layers.0-5'
linux_server_2:
host: 'linux_server2.host:10128'
description: 'NVIDIA GeForce 3080 (10GB)'
layers:
- 'model.layers.6-16'
iphone:
host: 'iphone.host:10128'
description: 'iPhone 15 Pro Max'
layers:
- 'model.layers.17'
ipad:
host: 'ipad.host:10128'
description: 'iPad'
layers:
- 'model.layers.18-19'
macbook:
host: 'macbook.host:10128'
description: 'M1 Max'
layers:
- 'model.layers.20-31'關于內存和磁盤空間優化問題，用戶可能希望只向 worker 提供模型中實際需要的數據，而不是整個文件夾，在這種情況下，可以使用 cake-split-model 。例如，要生成較小版本的 llama3 safetensors，可以采用如下代碼：
cake-split-model --model-path path/to/Meta-Llama-3-8B \ # source model to split
--topology path/to/topology.yml \ # topology file
--output output-folder-name
