Windows、Office直接上手，大模型智能體操作電腦太6了
當我們談到 AI 助手的未來，很難不想起《鋼鐵俠》系列中那個令人炫目的 AI 助手賈維斯。賈維斯不僅是托尼?斯塔克的得力助手，更是他與先進科技的溝通者。如今，大模型的出現顛覆了人類使用工具的方式，我們或許離這樣的科幻場景又近了一步。想象一下，如果一個多模態 Agent，能夠直接像人類一樣通過鍵盤和鼠標直接操控我們身邊的電腦，這將是多么令人振奮的突破。
AI助手賈維斯
近期，吉林大學人工智能學院發布了一項利用視覺大語言模型直接控制電腦 GUI 的最新研究《ScreenAgent: A Vision Language Model-driven Computer Control Agent》，它將這一想象映射進了現實。該工作提出了 ScreenAgent 模型，首次探索在無需輔助定位標簽的情況下，利用 VLM Agent 直接控制電腦鼠標和鍵盤，實現大模型直接操作電腦的目標。此外，ScreenAgent 通過「計劃-執行-反思」的自動化流程首次實現對 GUI 界面的連續控制。該工作是對人機交互方式的一次探索和革新，同時開源了具備精準定位信息的數據集、控制器、訓練代碼等。
- 論文地址：https://arxiv.org/abs/2402.07945
- 項目地址：https://github.com/niuzaisheng/ScreenAgent
ScreenAgent 可以幫助用戶輕松實現在線娛樂活動，購物，旅行，閱讀等也不在話下。它還可以是最了解你的貼心管家，幫助用戶管理個人電腦。甚至無需動手，就幫助用戶實現快速辦公，成為你最得力的辦公助手！話不多說，直接看效果。
帶你網上沖浪，實現娛樂自由
ScreenAgent 根據用戶文本描述上網查找并播放指定的視頻：
系統操作管家，賦予用戶高階技能
讓 ScreenAgent 打開 Windows 的事件查看器：
掌握辦公技能，輕松玩轉 office
此外，ScreenAgent 可以使用 office 辦公軟件。例如根據用戶文本描述，刪除所打開的第二頁 PPT：
謀定而后動，知止而有得
對于要完成某一任務，在任務執行前必須要做好規劃活動。ScreenAgent 可以在任務開始前，根據觀測到的圖像和用戶需求，進行規劃，例如：
將視頻播放速度調至 1.5 倍速：
在 58 同城網站上搜索二手邁騰車的價格：
在命令行里安裝 xeyes:
視覺定位能力遷移，鼠標選定無壓力
ScreenAgent 還保留了對于自然事物的視覺定位能力，可以通過鼠標拖拽的方式繪制出物體的選框：
方法
事實上，要教會 Agent 與用戶圖形界面直接交互并不是一件簡單的事情，需要 Agent 同時具備任務規劃、圖像理解、視覺定位、工具使用等多種綜合能力。現有的模型或交互方案都存在一定妥協，例如 LLaVA-1.5 等模型缺乏在大尺寸圖像上的精確視覺定位能力；GPT-4V 有非常強的任務規劃、圖像理解和 OCR 的能力，但是拒絕給出精確的坐標。現有的方案需要在圖像上人工標注額外的數字標簽，并讓模型選擇需要點選的 UI 元素，例如 Mobile-Agent、UFO 等項目；此外，CogAgent、Fuyu-8B 等模型可以支持高分辨率圖像輸入并有精確視覺定位能力，但是 CogAgent 缺乏完整函數調用能力，Fuyu-8B 則語言能力欠缺。
為了解決上述問題，文章提出為視覺語言模型智能體（VLM Agent）構建一個與真實計算機屏幕交互的全新環境。在這個環境中，智能體可以觀察屏幕截圖，并通過輸出鼠標和鍵盤操作來操縱圖形用戶界面。為了引導 VLM Agent 與計算機屏幕進行持續的交互，文章構建了一個包含「計劃-執行-反思」的運行流程。在計劃階段，Agent 被要求將用戶任務拆解為子任務。在執行階段，Agent 將觀察屏幕截圖，給出執行子任務的具體鼠標和鍵盤動作。控制器將執行這些動作，并將執行結果反饋給 Agent。在反思階段，Agent 觀察執行結果，并判定當前的狀態，選擇繼續執行、重試或調整計劃。這一流程持續進行，直到任務完成。值得一提的是，ScreenAgent 無需使用任何文字識別或圖標識別模塊，使用端到端的方式訓練模型所有的能力。
ScreenAgent 環境參考了 VNC 遠程桌面連接協議來設計 Agent 的動作空間，包含最基礎的鼠標和鍵盤操作，鼠標的點擊操作都需要 Agent 給出精確的屏幕坐標位置。相比起調用特定的 API 來完成任務，這種方式更加通用，可以適用于各種 Windows、Linux Desktop 等桌面操作系統和應用程序。
ScreenAgent 數據集
為了訓練 ScreenAgent 模型，文章人工標注了具備精準視覺定位信息的 ScreenAgent 數據集。這一數據集涵蓋了豐富的日常計算機任務，包括了 Windows 和 Linux Desktop 環境下的文件操作、網頁瀏覽、游戲娛樂等場景。
數據集中每一個樣本都是完成一個任務的完整流程，包含了動作描述、屏幕截圖和具體執行的動作。例如，在亞馬遜網站上「將最便宜的巧克力加入到購物車」的案例，需要先在搜索框中搜索關鍵詞，再使用過濾器對價格進行排序，最后將最便宜的商品加入購物車。整個數據集包含 273 條完整的任務記錄。
實驗結果
在實驗分析部分作者將 ScreenAgent 與多個現有的 VLM 模型從各個角度進行比較，主要包括兩個層面，指令跟隨能力和細粒度動作預測的正確率。指令跟隨能力主要考驗模型能否正確輸出 JSON 格式的動作序列和動作類型的正確率。而動作屬性預測的正確率則比較每一種動作的屬性值是否預測正確，例如鼠標點擊的位置、鍵盤按鍵等。
指令跟隨
在指令跟隨方面，Agent 的首要任務就是能夠根據提示詞輸出正確的工具函數調用，即輸出正確的 JSON 格式，在這方面 ScreenAgent 與 GPT-4V 都能夠很好的遵循指令，而原版的 CogAgent 由于在視覺微調訓練時缺乏 API 調用形式的數據的支撐，反而喪失了輸出 JSON 的能力。
動作屬性預測的正確率
從動作屬性的正確率來看，ScreenAgent 也達到了與 GPT-4V 相當的水平。值得注意的是，ScreenAgent 在鼠標點擊的精確度上遠遠超過了現有模型。這表明視覺微調有效增強了模型的精確定位能力。此外，我們還觀察到 ScreenAgent 在任務規劃方面與 GPT-4V 相比存在明顯差距，這凸顯了 GPT-4V 的常識知識和任務規劃能力。
結論
吉林大學人工智能學院團隊提出的 ScreenAgent 能夠采用與人類一樣的控制方式控制電腦，不依賴于其他的 API 或 OCR 模型，可以廣泛應用于各種軟件和操作系統。ScreenAgent 在「計劃-執行-反思」的流程控制下，可以自主地完成用戶給定的任務。采用這樣的方式，用戶可以看到任務完成的每一步，更好地理解 Agent 的行為想法。
文章開源了控制軟件、模型訓練代碼、以及數據集。在此基礎上可以探索更多邁向通用人工智能的前沿工作，例如在環境反饋下的強化學習、Agent 對開放世界的主動探索、構建世界模型、Agent 技能庫等等。
此外，AI Agent 驅動的個人助理具有巨大的社會價值，例如幫助肢體受限的人群使用電腦，減少人類重復的數字勞動以及普及電腦教育等。在未來，或許不是每個人都能成為像鋼鐵俠那樣的超級英雄，但我們都可能擁有一位專屬的賈維斯，一位可以陪伴、輔助和指導我們的智能伙伴，為我們的生活和工作帶來更多便利與可能。
