ControlNet作者新作:AI打光玩得更溜了!細節保留能力遠高于SD1.5
ControlNet作者“敏神”(張呂敏),剛剛上新了一個新項目——
名叫IC-Light V2,可以說是把AI打光這事兒玩得溜溜的。
圖片
IC-Light是此前張呂敏開發的圖像處理工具,可以通過AI技術精確控制圖像中的光照效果。
而此次的V2版本則是一系列基于FLUX的IC-Light型號,具有16通道VAE和原生高分辨率。
話不多說,直接來看效果。
例如隨意輸入一張照片,附上一句Prompt:
flicker 2008 photo of a woman, neon light, city, cars and people in the background.
閃爍2008年的照片,一個女人,霓虹燈,城市,汽車和人的背景。
圖片
最終生成的效果可以稱得上毫無違和感。
我們再來放大來看下前后的對比,人物細節保留程度就更明顯了:
圖片
再來看一個例子:
圖片
據敏神自己介紹:
IC-Light V2得益于更好的訓練方法,細節保留能力遠高于SD1.5。
而網友們在看完新工具的效果之后也直呼“世界上最好的重光照(relighting)工具”。
圖片
風格化圖片也能處理
在之前基于SD1.5的IC-Light,有個問題就是處理帶風格的圖片的效果并不是非常理想。
例如這樣:
圖片
可以明顯看出,原圖是一張美漫風格的圖片,而輸出的結果卻是真人風了。
而且即使在Prompt中給到了關鍵詞“surrealist painting of(超現實主義繪畫)”,得到的風格依舊還是帶點漫畫風。
嗯,AI直接把這個關鍵詞給忽略掉了。
圖片
而現在,基于FLUX的IC-Light V2,已經彌補了此前的缺陷。
圖片
圖片
圖片
除了人物之外,敏神也展示了其它主體的效果。
圖片
圖片
在線可玩
目前,IC-Light V2已經上線HuggingFace,可以在線體驗。
下面是我們實測馬斯克照片的例子:
圖片
除此之外,敏神此次推出的IC-Light V2其實是一個系列的模型。
目前可以體驗的版本是一個foreground conditioned model(前景條件模型),強調的是保留輸入圖像細節。
還有三個模型在陸續發布:
- 還是一個前景條件模型,但強調支持較大的修改,例如處理低光圖像和更改硬陰影。
- 一個前景和背景條件模型
- 與環境HDRI集成的模型
最后,敏神對于這次的模型還補充道:
目前的模型只能在Huggin
gFace上體驗,稍后會發布更多的推理代碼和權重。
然而,與V1不同的是,該許可證將僅用于非商業用途。
體驗鏈接放下面了,感興趣的小伙伴可以嘗鮮一波哦~
體驗地址:https://huggingface.co/spaces/lllyasviel/iclight-v2
參考鏈接:
[1]https://github.com/lllyasviel/IC-Light/discussions/98[2]https://x.com/multimodalart/status/1850521222213218380?s=46&t=6eepxw1G6XRQ7VO0ANjJWg