「我們人類不能持續呵護機器人、為他們修理損壞的部件或調整性能的負擔。機器人需要學會‘照顧’自己，才能真正發揮作用。這就是自我建模技術如此重要的原因。」

美國哥倫比亞大學機器人學教授霍德·利普森的這句話，揭示了機器人技術發展的根本困境。

在最新發表于《自然·機器智能》的研究中，中國學者胡宇航帶領的團隊成功讓機器人獲得了「自我學習」能力：僅憑普通攝像頭，就能像孩子觀察自己的手腳般理解身體構造，甚至在「受傷」時自主調整和恢復。

論文鏈接：https://www.nature.com/articles/s42256-025-01006-w

今天的人工智能與機器人更像是高度訓練的工人，每當我們需要一個機器人完成特定任務，工程師就必須完成機械三維建模、建立仿真模型、編寫控制算法，再根據特定任務完成強化學習。

如果機器人硬件結構改變或者損壞，例如增加新的負載或機械臂彎曲，往往無法自我適應和修復，必須依賴工程師進行調整。

但如果機器人一開始就能像人類一樣自己學習的形態和運動呢？

機器人「照鏡子」學會認識自己

人類從來不需要依賴精準的三維模型或關節角度控制來掌握技能，我們通過眼睛看、嘗試、反饋來理解自己的身體和任務。

視覺對環境的理解提供了一種仿真能力，我們可以通過在大腦中想象畫面做各種仿真測試。

比如從貨架上拿東西，你不需要運用任何數學模型，就能在大腦中想象出來你到貨架前取下東西的整個流程，因為你的視覺能力和自我認知在其中幫助到了你。

現在，機器人也可以做到這一點。

研究人員開發了一種新的AI系統，讓機器人通過一個普通的攝像頭和三個模仿大腦的人工智能系統（稱為深度神經網絡），通過給定指令預測出機器人自己在三維空間中占據的位置。

機器人利用「FFKSM」（Free Form Kinematic Self-Model）技術，可以實現：

1. 觀察自己，理解身體的形態和運動方式。
2. 規劃自己的動作，無需預設物理引擎或仿真。
3. 在受損后自我修正，比如如果手臂彎曲，機器人能識別變化并調整行動，而不需要工程師重新編程。

圖示：A，一個機器人看著鏡子概念圖，機器人通過移動身體觀察變化來建立自己的模型。B，利用該模型，機器人可以預測自己的形態并執行各種操作任務。C，FFKSM 實現原理。該模型包含三個深度神經網絡：坐標編碼器、運動編碼器和預測模塊。通過處理 3D 點坐標和關節角度，它可以預測查詢點的密度和可見性。然后使用此信息來渲染 PRED 預測圖像，并將其與分段二進制圖像 (GT) 進行比較以進行訓練。

這項能力徹底改變了對機器人的定義和理解方式——從被動執行任務的工具，變成主動學習、適應和調整。

具身智能的三大困局與自我建模技術破解之道

困局1：數據與物理實體的割裂

現狀：當前具身智能依賴海量訓練數據，但不同機器人的機械結構、傳感器配置差異導致數據難以復用。

突破：FFKSM 讓機器人通過攝像頭觀察自身運動，并構建通用的自我表征，不依賴手工定義的運動模型。這相當于為機器人創造了一種跨平臺的「機器語」：無論是四足機器人、雙足機器人，甚至是機械臂，它們都能將自身運動轉換為統一的認知框架。

困局2：運動模型的自我更新

現狀：傳統具身智能需預編程物理參數（如逆運動學模型與關節坐標），但現實世界的磨損、負載變化常使預設模型失效。

突破：動態的自我建模技術使機器人像生物般持續感知身體狀態。當工業機械臂因金屬疲勞產生微小形變時，系統能通過視覺觀測自主更新運動模型。

困局3：Sim2Real問題

現狀：現有系統需在仿真環境中預訓練數月，但移植到實體機器人時仍面臨sim2real（虛擬到現實）差異。

突破：實時在線建模，實現「所見即所得」的學習范式，實現欠驅動系統和柔性機器人的仿真（包括人臉機器人）。

具身智能的新范式：從「功能機器」到「認知生命體」

認知維度：傳統系統通過編碼規則理解世界（如用DH參數法描述機械臂運動），新技術則建立基于視覺-運動關聯的直覺認知，更接近生物進化出的本體感知。

可解釋突破：三個深度神經網絡的協同機制（坐標編碼→運動編碼→預測驗證）形成了類腦的認知閉環。當機器人選擇繞過障礙物時，研究者可追溯其「思考」路徑：先自我模擬機械臂擺動幅度→計算碰撞概率→生成避讓軌跡。

倫理前瞻：胡宇航在采訪中特別強調：「我們在系統中設置了認知邊界約束，確保自我建模僅用于物理運動優化，這是智能體獲得‘身體自由’的前提條件。」

應用場景

?? 人形機器人：從適應環境與任務

想象一個人形機器人在戶外行走，突然遇到一片光滑的冰面，或者執行任務時因額外負載導致身體平衡發生變化。

傳統機器人在這種情況下可能會因預設步態不適應新環境而滑倒或失去平衡，必須依賴額外的傳感器或人為干預來調整動作。

然而，具備自我感知和自我建模能力的機器人能夠實時識別環境變化，比如檢測地面的摩擦力降低，或感知自身重量的變化。機器人會像人類一樣調整姿態——就像我們在濕滑地面上會本能地放慢步伐、調整平衡，而在背上背包時會自動調整站姿以防止失衡。

??極端環境：從易受損失到高度魯棒

在外太空或極端場景，工程師無法遠程修復探測器，微小的機械故障可能導致整個任務失敗。

例如，火星車的機械臂可能因風沙卡住，或輪子受到障礙物撞擊而變形，導致行動受阻。新一代自我建模機器人可以像人類一樣更新運動模型——就像人在肌肉拉傷時會改變步態，努力走到醫務室。 

這種機器人可以檢測自身運動異常，動態調整控制策略，即使某個部件受損，也能找到替代性運動方式，確保任務繼續進行。這種高度魯棒的能力，將極大提升機器人在極端環境下的生存能力。

?? 人臉機器人：自監督學習突破人工建模瓶頸

柔性材料的建模一直是人形機器人領域的難題，尤其在面部仿真和動態表情生成方面，傳統方法依賴復雜的物理建模和人工調校，難以精準模擬人臉的自然運動。全新的自監督學習方法將徹底改變這一局面，使人臉機器人不再依賴人工建模，而是通過視覺學習自身結構和運動方式，自主優化表情控制模型。

這一突破不僅讓機器人面部表情更加自然，還能讓機器人自主調整不同情緒狀態下的微表情和肌肉動態，從而大幅減少「恐怖谷效應」。最終，這項技術將推動更具擬人感、更自然、更生動的機器人交互體驗，加速人機共存時代的到來。

機器人的「運動自我意識」（Kinematic Self-Awareness）

這項研究中所展示的能力是哥倫比亞大學團隊在過去二十年中發布的一系列項目中的最新一個，過去這些項目中的機器人正在學習如何更好地利用攝像頭和其他傳感器進行「自我建模」。

2006年，他們的機器人能夠通過觀察來創建簡單的、類似火柴人形狀的自我模擬。大約十年前，機器人開始使用多臺攝像機創建保真度更高的模型。

在這項研究中，機器人僅使用單個普通攝像機的視頻就能創建一個全面的運動自我模型，就像照鏡子一樣。研究人員將這種新發現的能力稱為運動自我意識。

Hod Lipson解釋，「我們人類本能地意識到自己的身體；我們可以想象自己在未來的樣子，并在現實中執行這些行為之前就將行為的后果形象化，最終，我們希望賦予機器人類似的想象自己的能力。因為一旦你能想象自己在未來的樣子，你所能做的事情就沒有限制了。」

華人作者介紹

第一作者胡宇航，哥倫比亞大學博士生。2024年，以第一作者身份在《科學·機器人學》（Science Robotics）發表研究Human-Robot Facial Coexpression。

胡宇航：我一直對人類和動物如何理解世界感到著迷——不是依靠數學模型，而是通過觀察、嘗試和適應。我們此前發表在《科學·機器人學》上的研究，利用「鏡子」讓我們的面部機器人 Emo 通過視覺學習人類的表情。

現在，我們把這個想法進一步拓展：讓機器人僅通過視覺觀察自身，實現自我建模、運動規劃，并在受損后自主恢復。這項突破讓我充滿期待——機器人不再只是執行命令，而是能夠與我們一起進化。 

這不僅比讓強化學習訓練機器人掌握某項技能更有趣，更重要的是，它觸及了智能本質的核心問題。如果機器人能夠像人類一樣，通過視覺感知和理解自身在物理世界中的存在，那么它們或許已經邁出了「自我意識」的第一步。