?大數據文摘出品

作者：Caleb

最近，ChatGPT可以說是火得不要不要的。

11月30日，OpenAI發布聊天機器人ChatGPT，并免費向公眾開放進行測試以來，在國內已經被玩出了花。

和機器人對話，就是讓機器人去執行某個指令，比如說輸入關鍵字讓AI生成相應的畫面。

這好像也不是什么稀奇的事了，OpenAI在4月不是還更新了DALL-E的新版本嗎？

OpenAI，how old are you？（怎么老是你？）

要是文摘菌說生成的是3D畫面，還是HDR全景圖那種，或者是基于VR的圖像內容呢？

最近，新加坡南洋理工大學的研究團隊就提出了這么一個AI，只要用戶用文字輸入一個描述得很清晰的場景，系統就能生成逼真的3D場景。

先來看看效果如何，比如輸入“白天湖上的棕色木碼頭被綠樹環繞”時，系統就給出了這樣的答案，這光線和細節效果直接拉滿。

該研究已經以Text2Light: Zero-Shot Text-Driven HDR Panorama Generation為題進行了發表。

論文鏈接：https://arxiv.org/abs/2209.09898

無需訓練，即可生成3D的HDRIs

高質量的HDRI（高動態范圍圖像），也就是HDR全景圖，是目前創建逼真的360度3D場景的熱門方法。

考慮到捕捉HDRIs的難度，雖然現在有不少可利用AI生成3D場景的技術，但基本都需要進行一連串的參數設定，或是通過大量數據進行深度學習。

于是，研究人員提出了一個零拍攝文本驅動框架，即Text2Light，以生成4K+分辨率的HDRIs，并且整個過程不需要相應的訓練數據。

生成HDRIs的過程可以分為兩步。

第一步，基于雙代碼本的離散表示法將輸入文本翻譯成LDR全景圖。輸入文本首先被預訓練的CLIP模型映射到文本嵌入；其次，一個文本條件的全局采樣器學習根據輸入文本從全局編碼簿中采樣整體語義；然后，一個結構感知的局部采樣器合成局部補丁，并進行合成。

第二步，根據結構化的潛伏編碼作為連續表示，對第一階段的LDR結果進行升級。研究人員提出的超級分辨率反色調映射運算器（SR-iTMO）能夠同時提高全景圖的空間分辨率和動態范圍。

如此一來，在無需進行訓練之下就能生成具有4K分辨率的HDRIs，這也是迄今為止最先進的圖像生成模型，清除了從LDR到HDR轉換的不穩定性，并創建了一對全景圖和文本供學習。

不過，目前此項技術仍處于早期研究階段，僅能產生低解析度的360度環景圖像內容，但研究團隊計劃在未來，對現階段技術所產生環景圖像進行升級，同時加入HDR影像強化效果，讓生成的3D圖像或VR場景的觀看度更加流暢和有吸引力。

用文本驅動生成HDRI

接下來，我們就來看看一些操作過程。

先下載好checkpoints，注意團隊分別發布了室外（local sampler outdoor）和室內（local sampler indoor）場景的模型。

從一個句子生成HDR全景圖：

python text2light.py -rg logs/global_sampler_clip -rl logs/local_sampler_outdoor --outdir ./generated_panorama --text "YOUR SCENE DESCRIPTION" --clip clip_emb.npy --sritmo ./logs/sritmo.pth --sr_factor 4

從系列文本描述中生成HDR全景圖：

# assume your texts is stored in alt.txtpython text2light.py -rg logs/global_sampler_clip -rl logs/local_sampler_outdoor --outdir ./generated_panorama --text ./alt.txt --clip clip_emb.npy --sritmo ./logs/sritmo.pth --sr_factor 4

生成低分辨率（512x1024）LDR全景圖：

# assume your texts is stored in alt.txtpython text2light.py -rg logs/global_sampler_clip -rl logs/local_sampler_outdoor --outdir ./generated_panorama --text ./alt.txt --clip clip_emb.npy

以此生成的HDR全景圖可以直接在任何現代圖形使用。以在三維計算機圖形軟件Blender進行對舊金山景觀進行渲染為例，當輸入landscape photography of mountain ranges under purple and pink skies后，我們會得到這樣的圖像：

為了便于批處理，例如使用多個hdri進行渲染，在命令行中也可以提供渲染3D的腳本。

解包，檢查檢查Blender的使用情況：

# assume your downloaded version is 3.1.2tar -xzvf blender-3.1.2-linux-x64.tar.xzcd blender-3.1.2-linux-x64./blender --help

添加別名：

# PATH_TO_DOWNLOADED_BLENDER indicates the parent directory where you save the downloaded blenderalias blender="/PATH_TO_DOWNLOADED_BLENDER/blender-3.1.2-linux-x64/blender"

然后回到Text2Light代碼庫，為不同的呈現設置運行以下命令：

blender --background --python rendering_shader_ball.py -- ./rendered_balls 100 1000 PATH_TO_HDRI

就能得到這樣的結果：

該項目也在GitHub上開源了：

GitHub鏈接：https://github.com/FrozenBurning/Text2Light

這個項目也得到了不少網友的好評。有網友就感嘆到，“人類的想象力是沒有邊界的”，照這個趨勢來看我們距離“輸入文字就能3D打印出一個真實物體”的時代也不遠了。

也有網友表示，當試圖輸入“一個四層半的榻榻米房間，房間內有推拉門、拉門、餐桌、14寸黑白電視、黑色電話機”，仍然會擔心AI能否比較準確地再現這種場景。畢竟在想象中，“這應該是一個有異國情調的房間”。

對這個速成HDR全景圖的AI，大家有什么看法呢？也歡迎小伙伴們在評論區分享自己的使用心得~

相關報道：https://www.itmedia.co.jp/news/articles/2210/11/news036.html