再談大模型工作流技術之——ComfyUI框架 原創
在之前的文章中寫了一篇關于ComfyUI工作流的文章，??大模型之視頻圖像生成之工作流——ComfyUI和AI煉丹師??，不過在此之前對工作流并不熟悉；本著先記下來再說的理念就有了之前的這篇文章。
而最近在做一款AIGC產品的過程中，主要負責的就是Comfyui工作流這塊；本著要知其然，也要知其所以然的心態，因此向公司的煉丹師請教了一下ComfyUI工作流的工作原理以及工作流程。
ComfyUI的工作原理以及流程
首先要聲明一個誤區，ComfyUI是一款針對于視頻生成Stable Diffusion開發的一個UI工具，但這并不代表著ComfyUI就是Stable Diffusion公司開發的， 它是一個開源項目，github地址如下。
ComfyUI項目github項目地址
可能很多人都聽說過ComfyUI，但很少有人深入了解過ComfyUI框架，那么到底什么是ComfyUI?
其實簡單來說，ComfyUI就是一款用來配置工作流的可視化工具，展示形式是web頁面，用戶可以通過這個工具配置工作流，以此達到特定的目的；比如生成一個特定風格的圖片或視頻等。
所以一句話概括，ComfyUI就是一個工作流配置工具。
如果不知道什么是工作流的讀者，可以自行度娘一下。
工作流（Workflow），就是“業務過程的部分或整體在計算機應用環境下的自動化”
既然明白了ComfyUI是一個工作流配置工具，那它的工作原理是什么呢？
事實上，ComfyUI是通過一個叫做節點的東西來配置工作流的，通過對不同的節點進行配置，使得業務可以按照工作流配置的流程去執行。
而ComyUI因為是真的大模型技術而開發的，因此它支持在節點中配置不同的大模型來實現不同的目的和效果。
比如，在傳統的AIGC實現過程中，要想實現一個視頻生成的功能，那么就需要找到一個視頻生成大模型，比如openAI提供的Sora。
而對大模型技術有過了解的人應該都知道，不論什么大模型都會有其擅長和不擅長的一面，畢竟通用大模型還沒實現。因此，如果你想使用一個視頻生成模型來生成多種不同風格的視頻，那么其效果可能就大打折扣了。
比如，你要想讓一個視頻生成模型即可以生成古風視頻，又可以生成現代視頻，又可以生成未來的視頻，同時又要求高質量生成，這樣的模型可能并不存在。
那么，一般的解決辦法是什么？
通過重新訓練或微調的方式，來讓大模型生成不同風格的視頻，為不同的風格微調不同的大模型。
但我們知道，由于大模型訓練和微調巨大的成本壓力，這種方式顯然是不現實的。那么應該怎么解決呢？
這時就可以換一種方式，那就是為每種風格的視頻，都找到一個開源的模型，這個問題自然就解決了。
但雖然不同風格的視頻生成解決了，但面對如此多的視頻風格，個人或企業要怎么維護？如果如果需要多個模型進行配合該怎么辦？而且有新人進來，難道要一個一個地教他們怎么使用不同風格的模型。
因此，這時ComfyUI的作用就體現出來了，首先ComfyUI可以通過配置的方式，配置一個固定的工作流，其中調用在需要的節點調用合適的大模型。這樣，以后再想生成同樣風格的視頻，就可以直接使用這個工作流即可。
其次，ComfyUI通過在不同的節點配置不同的大模型，就可以達到讓多個大模型協作的效果。這樣只需要一個強大的視頻生成模型，配合不同的風格的小模型就可以達到生成多種風格視頻的目的。
那么，ComfyUI是怎么工作的呢？
首先，ComfyUI是一個B/S結構的工作流框架，B/S結構是基于瀏覽器和服務器的模式；用戶可以通過在本地或遠程服務器上安裝ComfyUI框架，那么用戶就可以直接通過瀏覽器方式ComfyUI服務端。
其次，煉丹師根據具體的業務要求，通過節點配置ComfyUI工作流；最終，此工作流會被保存為一個JSON文件，這樣開發人員就可以通過這個JSON文件，通過修改其參數的形式，來調用ComfyUI接口來生成不同風格的內容。
本文轉載自公眾號AI探索時代 作者：DFires
