還記得今年 3 月底，從 AI 初創(chuàng)公司 Stability AI 離職的研究科學(xué)家 Robin Rombach 嗎？作為開發(fā)出文生圖模型 Stable Diffusion 的兩位主要作者之一，他于 2022 年加入 Stability AI。

如今，在從 Stability AI 離職近五個月后，Robin Rombach 發(fā)推宣布了自己創(chuàng)業(yè)的好消息！

他成立了「Black Forest Labs」，旨在推進用于圖像和視頻的 SOTA 高質(zhì)量生成式深度學(xué)習(xí)模型，并開放給盡可能多的人使用。

團隊成員由杰出的 AI 研究者和工程師組成，他們之前的代表性工作包括 VQGAN 和 Latent Diffusion、圖像和視頻生成領(lǐng)域的 Stable Diffusion 模型（包括 Stable Diffusion XL、Stable Video Diffusion 和 Rectified Flow Transformers）以及用于超快實時圖像合成的 Adversarial Diffusion Distillation。

值得注意的是，除了 Robin Rombach 之外，Stable Diffusion 還有三位作者成為了創(chuàng)始團隊成員，包括 Andreas Blattmann、 Dominik Lorenz 和 Patrick Esser。他們都在今年早些時候離開了 Stability AI，有人猜測他們當(dāng)初離開就是為了自己創(chuàng)業(yè)。

目前，該 Labs 已經(jīng)完成 3100 萬美元的種子輪融資，由 Andreessen Horowitz 領(lǐng)投。其他投資者包括了天使投資人 Brendan Iribe、Michael Ovitz、Garry Tan、Timo Aila、Vladlen Koltun 以及一些知名 AI 研究和創(chuàng)業(yè)專家。此外還獲得了來自 General Catalyst 和 M?tchVC 的后續(xù)投資。

該 Labs 還成立了顧問委員會，成員包括在內(nèi)容創(chuàng)作行業(yè)具有廣泛經(jīng)驗的科技大佬 Michael Ovitz 和神經(jīng)風(fēng)格遷移先驅(qū)、歐洲開放 AI 研究的頂級專家 Matthias Bethge 教授。

當(dāng)然，Black Forest Labs 推出了首個模型系列「FLUX.1」，包含了以下三個變體模型。

第一個變體是 FLUX.1 [pro]，它是全新的 SOTA 文生圖模型，具有極其豐富的圖像細(xì)節(jié)、極強的 prompt 遵循能力和多樣化風(fēng)格。目前可以通過 API 使用。

• API 地址：https://docs.bfl.ml/

第二個是 FLUX.1 [dev]，它是 FLUX.1 [pro] 的開放權(quán)重、非商用變體，并直接基于后者蒸餾而成。該模型的表現(xiàn)優(yōu)于 Midjourney 和 Stable Diffusion 3 等其他圖像模型。推理代碼和權(quán)重已經(jīng)放在了 GitHub 上。下圖是與競品圖像模型的比較。

• GitHub 地址：https://github.com/black-forest-labs/flux

第三個是開源的 FLUX.1 [schnell]，它是超高效的 4-step 模型，遵循了 Apache 2.0 協(xié)議。該模型在性能上與 [dev]、[pro] 非常接近，可以在 Hugging Face 上使用。

• Hugging Face 地址：https://huggingface.co/black-forest-labs/FLUX.1-schnell

與此同時，Black Forest Labs 也開始宣傳自己了。

下一步的目標(biāo)是推出所有人可用的 SOTA 文生視頻模型，大家可以期待一波了！

一出手即王炸：文生圖模型系列「FLUX.1」來襲

這次 Black Forest Labs 推出的三款模型，均采用了多模態(tài)和并行擴散 Transformer 的混合架構(gòu)。不同于其他家將一系列模型按參數(shù)量分為「中杯」、「大杯」、「超大杯」，F(xiàn)LUX.1 家族的成員統(tǒng)一擴展為 120 億參數(shù)的龐大規(guī)模。

研究團隊采用了流匹配（Flow Matching）框架對之前 SOTA 擴散模型進行了升級。從官方博客的注釋中可以推測，研究團隊沿用了還在 Stability AI 任職時（今年 3 月）提出的 Rectified flow+Transformer 方法。

• 論文鏈接：https://arxiv.org/pdf/2403.03206.pdf

他們還引入了旋轉(zhuǎn)位置嵌入和并行注意力層。這些方法有效提高了模型生成圖片的性能，在硬件設(shè)備上生成圖片的速度也變得更快了。

這次 Black Forest Labs 并未公開模型的詳細(xì)技術(shù)，不過更詳細(xì)的技術(shù)報告將很快公布。

這三款模型在各自的領(lǐng)域都確立了新標(biāo)準(zhǔn)。無論是生成圖像的美觀度、圖像與文本提示詞的附和度、尺寸 / 寬高比可變性、還是輸出格式的多樣性， FLUX.1 [pro] 和 FLUX.1 [dev] 都超越了一系列當(dāng)紅圖片生成模型，如 Midjourney v6.0、DALL?E 3 (HD) 以及老東家 SD3-Ultra。

FLUX.1 [schnell] 是迄今為止最先進的少步驟模型（few-step model），不僅超越了同類競爭對手，還超越了像 Midjourney v6.0 和 DALL?E 3 (HD) 這樣的強大非蒸餾模型。

模型經(jīng)過專門微調(diào)，以保留預(yù)訓(xùn)練階段的全部輸出多樣性。與當(dāng)前最先進的技術(shù)相比，F(xiàn)LUX.1 系列模型還保留了充分的進步空間。

所有 FLUX.1 系列的模型都支持多種縱橫比和分辨率，從 0.1 到 2 百萬像素，都能拿下。

已經(jīng)有動作快的網(wǎng)友搶先體驗上了，看來 Black Forest Labs 反復(fù)強調(diào)的「最強」，并不只是自賣自夸。

簡單的提示詞，就可以打造出這樣的效果，仔細(xì)看羊駝身上墊子的花紋，也沒有出現(xiàn)扭曲和變形。

提示詞：An emerald Emu riding on top of a white llama.

如果不說這是 AI 生成的圖片，也挺難分辨這是不是攝影師拍下的照片。

提示詞：A horse is playing with two aligators at the river.

含有文字的圖像，也能輕松拿捏，景深也處理得很符合真實的鏡頭感。

三款模型中，性能稍弱的 FLUX.1 [schnell]，用起來也是又快又強，有網(wǎng)友曬出在 Mac 上運行的體驗，不得不感慨，真是立等可取。

不太了解 Stable Diffusion 的作者們和 Stability AI 之間「恩怨情仇」的網(wǎng)友感嘆道：不知道從哪里冒出來了個文生圖模型，簡直強到可怕。

關(guān)于 Stable Diffusion 作者和前司 Stability AI 的故事，可以看看機器之心之前的報道：價值1億美金時，Stable Diffusion背后的團隊開始互撕，誰才是真官方？

除了三款最強的文生圖模型，Black Forest Labs 還憋著「大招」呢。有了如此強大的圖片生成模型的能力，Black Forest Labs 為視頻生成模型打下了堅實的基礎(chǔ)，正如他們所預(yù)告的，這些計算機視覺的頂級科學(xué)家們正朝著為所有人提供的最先進文生視頻技術(shù)的目標(biāo)前進。