大模型生成RPG游戲,情節角色全自定義!谷歌出品,一作上海交大校友
現在,大模型能生成RPG角色扮演游戲了。
根據初始用戶輸入,它能設置游戲模擬環境,并在環境中生成角色動作。
來自谷歌,北卡羅來納大學教堂山分校新研究,他們嘗試的第一款游戲叫做Unbounded,靈感來自《模擬人生》。
用戶可以自定義角色的人生,比如這位名叫Archibus的巫師,他的饑餓度、能量和興趣度會隨著環境進行相應更新。
角色可以自由探索各種環境,進行各種可能的動作和互動。游戲按照交互速度,每秒就會刷新一次。
用大模型生成無限游戲
研究團隊引入了一個生成無限游戲這個概念。
“無限游戲”指以延續游戲為目的游戲,生成無限游戲就是即通過使用生成式模型,超越傳統受限的視頻游戲。
無界(Unbounded)就是一款完全由生成式模型封裝的角色生活模擬游戲。你可以虛擬世界中通過喂養、玩耍和引導角色,與他互動,但需要保證它的健康狀態。
基于此,他們生成游戲的主要屬性包括:角色個性化、游戲環境生成、開放式互動、實時生成。
在語言方面,他們開發了一個基于LLM的游戲引擎。這個游戲引擎能夠保持游戲機制的一致性,生成連貫的敘事,并實時生成上下文角色響應。
他們的專業模型是在兩個協作性強的LLM Agent自動生成的數據基礎上進行微調的,無需人工注釋。
以Gemma-2B為例,經過微調之后的游戲引擎,在狀態更新、環境相關性、故事連貫性和指令遵循方面都表現得更為出色。
在視覺生成方面,他們引入了新型動態區域圖像提示適配器(Regional IP-Adapter)。該適配器可在保持多幅圖像視覺一致性的同時,生成一致的角色和環境。
具體來說,它將游戲環境和角色外觀作為圖像生成的條件,而游戲環境和角色外觀則由交叉注意力層中注意力輸出所獲得的動態掩碼調制。
這是為了減少環境和角色之間的干擾,使兩者都能可靠地出現在場景中。
與之前的方法相比,他們的區域IP適配器采用了區塊丟棄技術,能持續生成具有高度字符一致性和環境一致性的圖像。
一作為上海交大校友
這篇研究主要來自谷歌以及北卡羅來納大學教堂山分校團隊。
其中一作Jialu Li目前是北卡羅來納大學教堂山分校五年級博士生,本科畢業于上海交大,隨后在康奈爾大學獲得碩士學位。
對于這項研究,谷歌導師Nataniel Ruiz興奮表示了對生成游戲的看好:未來大多數游戲都將完全由生成游戲組成。
想想《龍與地下城》等桌面角色扮演游戲的無限性——并試著想想這將如何應用于《上古卷軸》或《艾爾登法環》等游戲。