生成式AI人機協同有哪幾種模式? 原創
當今科技的浪潮席卷而來,生成式人工智能(AI)正成為這場數字革命的中堅力量。在這個迅速演進的領域中,我們見證了一個接一個的創新和人機交互方式的變革。人機協同(human-machine synergy)就是將人和機器組成一個團隊,集成人類智能和人工智能,促進人機自主交互,協作共贏。人工智能研究的主要驅動力一直是機器與人類認知的協作與競爭,如機器在國際象棋中擊敗人類或者通過圖靈測試,從而證明要么是機器比人類更好,要么是人類在某些領域比計算機做得更好。但是,人工智能總會具有一定的局限性,它不能完全構建人類大腦的功能。
生成式AI的智能革命演化至今,從人機協同呈現了三種模式:
- 嵌入(embedding)模式:某個環節里去調用大模型
- 副駕駛(Copilot)模式:每個環節都可以跟大模型進.行交互
- 智能體(Agent)模式:任務交給大模型,大模型即可自行計劃、分解和自動執行,這種模式下,AI充分體現了智能體的互動性、自主性和適應性特征,接近于獨立的行動者,而人類則更多地扮演監督者和評估者的角色。
嵌入模式中,人類通過拆解目標引導AI完成任務,突顯了人類在決策中的主導作用;副駕駛模式中,人類與AI共同促成了目標的達成;而智能體模式則展現了生成式AI更強的獨立性,因為其能夠自主理解、拆解、規劃和執行任務。
這三種模式中,決策權逐漸由人類轉向AI。這一演變揭示了生成式AI與人類協作的不同層次,呈現出由人類主導到與AI共同決策,再到AI自主執行的趨勢。以大語言模型為驅動,可自主化完成復雜任務的Agent智能體,必將深度參與到創意構思環節,為解決問題提出自己的想法。
01「 Embedding模式 」
在生成式AI的智能革命中,嵌入模式率先出現在人們生活中。在這一模式下,用戶可以在拆解目標后,通過提供一系列提示詞或者關鍵詞來明確具體的支線任務,這也成為了AI理解用戶意圖的關鍵因素。這種互動機制使得AI能夠更準確地捕捉用戶需求,并在后續互動中逐步完善細節。整個過程中,模型的生成能力得以充分展現。
以創造性任務為例,當我們要寫一篇小說,我們首先需要確定題材,故事方向以及故事框架。這些都是創作過程的基礎,基于此才能夠繼續補充細節。在嵌入模式中,人類作為決策者需要將整體目標拆分為一系列可以逐步完成的任務。在后續與AI的互動中,我們可以逐步輸入各個分解出的任務,指導AI按照我們設定的步驟完成創作的不同階段。例如,我們可以通過提示詞來讓AI創造主要人物、設定故事大綱,然后逐漸引導AI填充故事細節。在這一過程中,人類作為主導者,通過拆解目標、提供清晰指導,有效地引導AI完成各個任務,最終形成一篇符合我們要求的完整的小說。
總的來說,在嵌入模式下,人類首先設定了目標,然后拆分成具體步驟并且以自然語言與AI交互,逐步引導AI生成我們想要的結果。因此,這一模式的特點主要在于人類主導決策,而AI則充當執行人類命令的工具。
嵌入模式在各個領域都展現了卓越的應用價值,尤其在文學創作、影視編劇、廣告創意等領域表現突出。通過與AI的創意合作,用戶得以更靈活地打造符合用戶個性的創意作品,減少靈感卡頓的情況出現。同時,這一模式的出現也為創作者提供了全新的創作方式。
在設計領域,通過將AI功能(如智能擴圖、一鍵摳圖、文字生圖等)嵌入到現有軟件界面中,能直接提升設計工具的智能化水平,設計師可以在熟悉的環境和流程中調用這些AI功能,無需額外學習新的工具,輕松獲得即時的智能支持。這種內嵌策略應該是讓AI最快落地應用的方式之一,例如Photoshop Beta、MasterGo Al都通過這種方式快速實現了產品的智能化升級。
但Embedding模式的局限性也是顯而易見的,受限于工具現有架構,強大的AI功能多為散點式的存在,無法形成協同效應。因此,Embedding模式更像是現階段應對生成式AI大潮的過渡方案。
02「 Copilot模式 」
Copilot概念是由微軟在2021年引入的,它的主要功能是為開發者在編寫代碼的過程中提供實時的代碼建議。這些建議不僅包括簡單的代碼補全,還能生成整段的代碼,從而極大地提升了開發效率。當AI識別到代碼需要補全時,它會分析已有的代碼結構,然后列出后續可補全的代碼供開發者選擇。隨后的工作階段中,人類與AI之間的不斷交互變得至關重要。在此之后,AI持續提供建議,而人類則負責根據項目需求來進行選擇和調整。這種模式下,AI將全程參與整個工作流程,從提供初始建議、給出框架,一直到協助完成流程的各個階段。在這種合作伙伴關系中,AI不僅僅是一個工具,更是一個知識豐富的助手。
AI不僅在后續流程中與人類互動生成最終結果,而且在拆分目標時,也能協助人類理清目標構成。尤其是那些對于目標領域不熟悉的人,AI能夠幫助他們梳理思路,從而更有效地達成目標。因此,在副駕駛模式下,AI通過對目標任務的分析,構建了解決方案,從而增強了決策的效率,并且在后續的進程中也提供了有力的支持與指導,來確保任務的高質量完成。
副駕駛模式的全面應用為辦公工作帶來了更為智能、高效的體驗。當接收到設計需求的那一刻起,Copilot便能夠基于強大的知識庫和用戶數據,對設計需求進行分析,并給出具體的設計建議(如框架布局、內容元素、顏色搭配等),還可以生成參考方案。
形態上我們可以參考目前較火的AI搜索類產品,Copilot可能會以插件或者懸浮窗口的方式存在,方便設計師隨時調用。調起界面后,用戶可以輸入自己的設計需求,也可以上傳相關需求文檔,給AI越多背景資料,結果可能越精準可用,接著是選擇自己的生成訴求。開始生成后,基于用戶勾選的內容依次生成,除了對于設計需求的分析和文檔的解析,還可以利用AI的搜索能力,整理主題相關的延伸閱讀材料供設計師參考。
在設計分析模塊,圍繞不同的設計類型生成建議內容,比如我要設計的是一張海報,生成內容就可能會包括標題、版式布局、尺寸、字體、背景等海報設計元素。
Copilot模式對于協同關系最大的改變是,AI不再只是智能化增強的圖形處理工具,而是成為與設計師緊密協作的得力助手,助力設計全流程的提質提效。
03「 Agents模式 」
在生成式AI的智能革命中,智能體(Agents)模式是一種更為獨立和自主的模式。這種模式可以被理解為能夠自主理解人類提出的問題,并基于這種理解來進行問題規劃,進而自主決定需要執行哪些復雜任務的智能體。換句話說,當人類設定了目標后,它不僅能夠提供關于“任務執行框架”的建議,而且可以自主開始任務執行,無需人類手動分配任務。在這一過程中,人類主要是進行監督和評估最終結果,而不需要在每個步驟中都參與進去。
在智能體模式中,其核心流程可以被總結為三個能力的循環:感知(Perception)、規劃(Planning)和行動(Action)。在感知、規劃和行動的循環中,智能體能夠在不斷地與環境的互動中來學習和優化自身的行為。區別于嵌入模式和副駕駛模式,智能體模式具有更強的決策權、獨立性和自主性。它強調AI能夠自主感知環境,通過感知獲取信息,進行規劃、拆分任務并自主執行任務。這與嵌入模式中用戶主導、AI執行命令,以及副駕駛模式中用戶與AI合作完成任務的方式形成鮮明對比。
在設計領域,Agent可以被視為一個個擅長不同設計能力和擁有不同經驗知識的虛擬設計師,支持自由選擇、組合或刪除,同時我們根據需求所需能力,為Agent外掛各種工具,并能將業務專屬的知識數據上傳供其學習。整個過程很像是為設計需求量身打造一個專屬的“AI設計團隊”。設計師的角色因此被徹底改變,更多時候只是站在Leader的視角向AI發出設計需求,然后等待方案的呈現,目標設定,任務拆解和分配、生成設計指令、信息收集、方案生成由Agent全權代理并自動完成,AI成為真正意義上的創作主體,設計工作也將進入“3D打印”的時代。對人而言,最重要的不再是創意能力、設計能力,而是審美能力、判斷能力和決策能力。
歷史經驗告訴我們,技術進步推動生產效率提升,進而引發生產組織和社會關系的變革。作為本輪變革的核心驅動力,AI技術具備極強的前瞻性。信息架構和框架布局受到用戶任務流程的影響,而任務流程源自產品/平臺所支持的功能范圍,功能范圍一方面基于用戶需求,另一方面則取決于技術的能力范圍。
Agent以大語言模型為核心驅動,具有自主感知理解、規劃決策、記憶反思和使用工具的能力,能夠自動化完成復雜任務,Agent可以將大模型的能力發揮到極致,成為類人甚至超人的智能實體。Agent技術框架通常被認為由四個關鍵模塊組成:
記憶模塊 負責存儲信息,包括過去的交互、學習到的知識,甚至是臨時的任務信息。
規劃模塊 包括事前規劃和事后反思兩個階段。在事前規劃階段,這里涉及對未來行動的預測和決策制定;在事后反思階段,智能體具有檢查和改進制定計劃中不足之處的能力。
工具模塊 利用外部資源或工具來執行任務。學習調用外部API來獲取模型權重中缺失的額外信息,以此來補足自身弱項。
行動模塊 實際執行決定或響應的部分。面對不同的任務,智能體系統有一個完整的行動策略集,在決策時可以選擇需要執行的行動。
擅長不同設計領域的大語言模型相當于各種設計角色,如何來管理這些角色很重要,所需功能可能會有角色市場(官方或個人)、角色雇傭(臨時或買斷)、設計能力升級迭代、角色的組合搭配等。
記憶模塊大概需要兩個空間,一個空間存儲的是每次行動后自動沉淀的知識和經驗,另一個空間則支持我們將業務材料、個性化數據,甚至是既往設計作品等內容進行上傳,經過學習快速成為Agent能力的一部分。
在規劃階段,相關分工的安排以及行動步驟的拆解應避免黑箱操作,將任務鏈可視化有助于提升設計師的掌控感,這對處理好協同關系很重要。
工具方面,可能會通過工具庫或工具商城的形式聚合呈現,支持各類設計工具和工具包的選配選購,還要具備增、刪、改、查等基礎的工具管理服務。
最后是行動,我認為有兩個需要考慮的點,一是方案展示要結合文、圖、視頻內容的特點,不能簡單的用一種框架去展示不同的設計作品,二是圖形處理功能以什么形式與agent對接。
智能體模式在自動駕駛、機器人控制、游戲設計等領域有著廣泛的應用。在自動駕駛中,車輛可以通過感知道路、規劃路徑并執行行駛,實現智能駕駛的目的。在機器人控制中,智能體模式賦予機器人更強的自主決策能力,使其能夠適應不同的任務環境,例如廚房做飯等。
「 最后 」
總而言之,生成式AI正在深刻變革著各個行業。嵌入模式需要用戶通過對目標的深入理解來拆解目標并設定框架,然后將拆解后的任務給AI,讓其協助完成任務。它更強調了人類在決策和指導中的主導地位。對于副駕駛模式而言,用戶與AI作為合作伙伴,共同參與工作流程,決策權逐漸開始向AI傾斜。而智能體模式展現了更高的獨立性和自主性,其能夠自主理解問題、拆解問題、規劃決策并執行任務,人類更偏向監督和最終的評估。
在這三種協作模式的演化中,AI參與決策的權重逐漸增加,呈現出了漸進式的發展。隨著AI技術的廣泛應用,未來我們不再需要使用各種不同的應用程序來完成不同的任務。相反,只需用日常用語告訴手機或電腦想要完成什么任務,它們就能夠處理我們的請求。在不遠的將來,每個上網的人都將能夠擁有一個由人工智能驅動的個人助理,也就是“AI Agent”。智能體或將徹底改變用戶使用計算機的方式,期間可能還有很長的路要走。但,智能體的時代或許正在來到。
圖片及論文參考資料:
??https://www.leadbank.com.cn/newsinfo/6615399.html?templateId=1376870??
??https://zhuanlan.zhihu.com/p/659386520??
??https://support.microsoft.com/zh-cn/copilot-powerpoint??
本文轉載自公眾號數字化助推器 作者:天涯咫尺TGH
