Fooocus:一個簡單且功能強大的Stable Diffusion webUI
Stable Diffusion是一個強大的圖像生成AI模型,但它通常需要大量調整和提示工程。Fooocus的目標是改變這種狀況。
Fooocus的創始人Lvmin Zhang(也是 ControlNet論文的作者)將這個項目描述為對“Stable Diffusion”和“ Midjourney”設計的重新設計。Fooocus就像是Midjourney的免費離線版本,但是它使用SDXL模型。或者說它將Stable Diffusion的出圖過程做了非常好的優化,沒有那么多繁瑣的配置。
Fooocus內置和自動化了許多優化和質量改進,將其他頁面的手動設置變為了自動配置,這樣就和Midjourney一樣,這將在每次嘗試中獲得良好的結果。如果你想做更多,你可以使用Fooocus的Advanced選項卡。比如說設置清晰度過濾器或自定義lora。
在這篇文章中,我們將介紹如何在本地和Colab上使用Fooocus
在Windows上運行
只需要在下載文件,解壓縮,然后運行run.bat,就是這么簡單
在第一次運行時,它會自動下載模型,如果你已經有這些文件,你可以把它們復制到上面的位置,以加快安裝速度。
- sd_xl_base_1.0_0.9vae.safetensors
- sd_xl_refiner_1.0_0.9vae.safetensors
Fooocus可以在16gb RAM和6GB VRAM的系統上運行,性能非常好,下面圖片來自的Github。
最低要求是4GB Nvidia GPU內存(4GB VRAM)和8GB系統內存(8GB RAM)。
在Linux上運行
Linux上會更加簡單:
git clone https://github.com/lllyasviel/Fooocus.git
cd Fooocus
conda env create -f environment.yaml
conda activate fooocus
pip install -r requirements_versions.txt
與Windows類似下載模型以加快過程,但是他的啟動命令變為:
python launch.py
或者如果想打開遠程端口,需要使用listen參數
python launch.py --listen
在Google Colab上運行
因為需要使用GPU,所以我們這里選擇T4 GPU,因為它已經夠用了
然后使用下面命令,由于下載和安裝,該操作可能需要一些時間才能完成,但是Colab的下載速度很快,我們不需要傳輸模型了
%cd /content
!git clone https://github.com/lllyasviel/Fooocus
!apt -y update -qq
!wget https://github.com/camenduru/gperftools/releases/download/v1.0/libtcmalloc_minimal.so.4 -O /content/libtcmalloc_minimal.so.4
%env LD_PRELOAD=/content/libtcmalloc_minimal.so.4
!pip install torchsde==0.2.5 einops==0.4.1 transformers==4.30.2 safetensors==0.3.1 accelerate==0.21.0
!pip install pytorch_lightning==1.9.4 omegacnotallow==2.2.3 gradio==3.39.0 xformers==0.0.20 tritnotallow==2.0.0 pygit2==1.12.2
!apt -y install -qq aria2
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/sd_xl_base_1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors -d /content/Fooocus/models/checkpoints -o sd_xl_base_1.0_0.9vae.safetensors
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/sd_xl_refiner_1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors -d /content/Fooocus/models/checkpoints -o sd_xl_refiner_1.0_0.9vae.safetensors
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_offset_example-lora_1.0.safetensors -d /content/Fooocus/models/loras -o sd_xl_offset_example-lora_1.0.safetensors
%cd /content/Fooocus
!git pull
!python launch.py --share
當它完成時,會看到一個連接,類似下圖
點擊右邊的gradio.live鏈接,就可以看到界面了,如果要進行高級設置,可以在advanced 選項中看到更多的高級設置
總結
Fooocus的操作要比AUTOMATIC1111方便很多,并且安裝也簡單,看看我生成的結果
最后Github更詳細信息可以看這里
https://github.com/lllyasviel/Fooocus