安卓手機「跑」Stable Diffusion創新紀錄,15秒內出圖
我們知道,Stable Diffusion 是一種非常流行的文本到圖像生成式 AI 模型,它能夠在幾十秒內為任何給定的輸入文本創建逼真的圖像。Stable Diffusion 的參數超過了 10 億,直到現在,該模型主要在云端運行。
因此,如何在移動設備端運行 Stable Diffusion 吸引了圈內人士的極大興趣。此前,有位作者開發了一個應用程序,通過 Stable Diffusion 來生成圖像,然后按喜歡的方式編輯。該應用在最新的 iPhone 14 Pro 上生成圖片僅需一分鐘,使用大約 2GiB 的應用內存。
甚至蘋果親自下場優化,在 iPhone、iPad、Mac 等設備上以驚人速度運行 Stable Diffusion,在半分鐘生成一張分辨率 512x512 的圖像。如下為蘋果設備上運行 Stable Diffusion 和 Core ML + diffusers 生成的圖像。
Stable Diffusion 實現最快安卓端運行
那么安卓手機上能不能也運行 Stable Diffusion 并快速出圖呢?今日,高通的一則 Demo 視頻演示了:安卓手機端使用 Stable Diffusion 實現了最快本地 AI 圖像生成。
在如下 Demo 視頻中,Stable Diffusion v1.5 在不到 15 秒的時間內生成分辨率 512x512 的圖像。高通雖然沒有明確說明是哪款手機,但表示該手機搭載了最新的驍龍 8 Gen2 旗艦芯片組。通過在軟件層面進行各種自定義優化,使得 Stable Diffusion 以最佳方式實現了運行。
高通在其測試設備上生成的一些示例圖像如下所示,如「穿著盔甲的、超級可愛的、毛茸茸的貓武士」。
在智能手機端以如此快的速度運行 Stable Diffusion,這要歸功于高通的全棧 AI 優化方案。該方案顯著降低了運行時延遲和能耗,最終實現 Stable Diffusion 安全高效的運行。
其實,在高通發布 Demo 視頻之前,已經有開發者展示了在搭載高通驍龍 865 的 8G RAM 索尼 Xperia 5 II 上運行 Stable Diffusion。這位開發者名為 Ivon Huang,其博客中詳細介紹了相關教程。不過,生成一張分辨率 512x512 的圖像需要 1 個小時。與之相比,高通出圖的速度實現了巨大的提升。
博客地址:
?https://ivonblog.com/en-us/posts/android-stable-diffusion/?