機器人遞接物品反應慢？英偉達開發AI模型：數據集圖像總量逾15萬，成功率100%
本文轉自雷鋒網，如需轉載請至雷鋒網官網申請授權。
想象一下，想要將手中的小方塊優雅地遞給別人，是用手卡住方塊的側面送出？
還是伸出托著方塊底部的手？
那么如果對方是機器人，持握小方塊的方式是否會影響機器人快速、精確的識別呢？
答案是“會”！
因此，英偉達（Nvidia）研究人員設計了一種人類-機器人遞接物品的新方式，當機器人面對人類時，對其持握動作進行判斷、分類，進而設計出遞接物品的方式。這一方式比基線更流暢，可為協作機器人的設計提供新思路，從而提高倉庫工人的生產力。
當地時間 2020 年 3 月 12 日，相關論文 Human Grasp Classification for Reactive Human-to-Robot Handovers（基于人手持握動作分類的人類-機器人遞接物品反應）發表于預印本網站 arXiv。
解決物品和人手相互遮擋的問題
雷鋒網了解到，如今關注人類-機器人無縫遞接物品領域的研究越來越多。就目前而言，絕大多數研究著眼于將物品從機器人轉移到人類手中的挑戰，假設人類可將物品放置在機器人的抓取器中進行反向操作。
不過，人類-機器人無縫遞接物品的一個挑戰便是機器人缺少可靠、連續的感知。在遞接物品過程中，物品和人手難免會相互遮擋，而且人在遞接物品時還經常同時在做其他事情，因此機器人對人手和物品狀態、位置的估計并不是很精準。
對此，研究人員提出的一種策略是，通過從計算機視覺社區借用現成的方法估計人手的動作及物品的 6D 狀態。然而，這一方法僅僅關注于人手或物品。
基于此，英偉達研究人員做了一系列改進。
將人手持握物品的動作劃分類別
首先，研究人員利用微軟 Azure Kinect 深度傳感器的身體跟蹤 SDK（軟件開發工具包）獲取檢測到的以人手為中心的點云，編輯一個數據集，訓練 AI 模型。
此外，研究人員展示持握物品的示例圖像，并記錄 20-60 秒內人手做出的類似動作。在此期間，人可以不斷移動身體或手，保證視角多樣化。據了解，該研究團隊數據集的圖像已超過 15 萬張。
在此基礎上，研究人員將持握動作劃分類別，比如手中拿著一個小方塊時，動作可以被描述為“手掌張開”、“卡住底部”、“卡住頂部”、“卡住側面”或“抬起”。
研究人員表示：
目前我們的系統覆蓋了 77% 的人手持握物品方式，未來我們還要將其擴展到更大的范圍。
隨后，研究人員將遞接物品任務建模，基于一個「魯棒動態邏輯系統」（Robust Logical-Dynamical System），設計出遞接物品的軌跡，免去了特定種類的抓取器和人手接觸的麻煩。
雷鋒網了解到，這一系統必須適應人類各種可能的持握動作，才能做出反應，判斷接近人類并遞接物品的方式。在系統確切地估計出人類將以何種方式持握物品之前，它將始終在原位（“home” position）保持等待狀態。
實際上，研究人員在一系列實驗中對人手所有可能的位置、動作進行了系統性的回顧，確定了分類模型和任務模型。同時，研究人員也考慮了這一過程中可能涉及的額外操作（下圖為按優先級降序排列的可能出現的額外操作）。
遞接成功率為 100%
雷鋒網(公眾號：雷鋒網)注意到，實驗中，研究人員用到的是來自德國慕尼黑機器人公司 Franka Amika 的兩個不同的「熊貓機器人」（Panda robots），研究人員將其安裝在同一張桌子上的不同位置，分別從人類手中接過 4 種不同顏色的物品。
該論文的兩位作者表示，與 2 個基線方法（一個不判斷人手狀態，另一個僅依賴于手和物體的狀態）相比，他們的方法提升了人類-機器人無縫遞接物品的成功率，并縮短了計劃、執行時間——遞接成功率為 100%（第二高為 80%），判斷成功率為 64.3%（第二高為 29.6%），計劃、執行總動作為 17.34 秒（第二短為 36.34 秒）。
不過，研究人員也明確提到了這一系統存在的不足與未來的研究方向：
提升判斷成功率將會是未來我們的一個努力方向，這是因為即使系統已經可以處理大部分物品和人手彼此遮擋的場景，但不確定性也更高了，有時機器人不得不重新進行判斷。
此外，他們計劃讓系統從數據中學習不同的持握類型，而不是依賴于人工制定的規則。
