挑戰(zhàn)人類認知推理新任務(wù)，MIT等聯(lián)合提出新一代視覺推理數(shù)據(jù)集

作者：機器之心專欄 2021-12-14 15:59:38

本文在這個數(shù)據(jù)集上檢驗了幾個最先進的視覺推理模型。研究者觀察到它們的表現(xiàn)遠遠不及人類表現(xiàn)，特別是在一些較新的推理類型（例如幾何，物理問題）任務(wù)上。

來自MIT-IBM 沃森人工智能實驗室首席科學家淦創(chuàng)團隊提出了新一代視覺推理數(shù)據(jù)集，該數(shù)據(jù)集提出了基于局部（part）的視覺推理，并融合了五類人類認知推理任務(wù)：概念型推理，關(guān)系型推理，類比型推理，數(shù)學推理和物理推理。

人類視覺感知的一個關(guān)鍵點是將視覺場景解析為物體，并進一步解析為物體的各個局部，從而形成部分 - 整體層次結(jié)構(gòu)。這種層級結(jié)構(gòu)可以誘導出豐富的語義概念和關(guān)系，從而在解釋和組織視覺信息方面，以及視覺感知和推理的泛化方面發(fā)揮著重要作用。然而，現(xiàn)有的視覺推理數(shù)據(jù)集主要關(guān)注整個物體，而不是物體中的局部。由于更細粒度的概念、更豐富的幾何關(guān)系和更復雜的物理關(guān)系，基于部分 - 整體層次結(jié)構(gòu)的視覺推理比以物體整體為中心的推理更具挑戰(zhàn)性。

因此，為了更好地闡釋和理解基于局部的概念和關(guān)系，本文引入了一個新的名為 PTR 的大規(guī)模診斷型視覺推理數(shù)據(jù)集。PTR 包含大約七萬 RGBD 合成圖像，帶有關(guān)于語義實例分割、顏色屬性、空間和幾何關(guān)系以及某些物理屬性（例如穩(wěn)定性）的物體和局部標注。這些圖像配有五種類型的問題：概念型推理，關(guān)系型推理，類比型推理，數(shù)學推理和物理推理。這些類型均來自于人類認知推理的重要方面，但在以往的工作中并沒有被充分探索過。

本文在這個數(shù)據(jù)集上檢驗了幾個最先進的視覺推理模型。研究者觀察到它們的表現(xiàn)遠遠不及人類表現(xiàn)，特別是在一些較新的推理類型（例如幾何，物理問題）任務(wù)上。該研究期待這個數(shù)據(jù)集能夠促進機器推理向更復雜的人類認知推理推進。

挑戰(zhàn)人類認知推理新任務(wù)，MIT等聯(lián)合提出新一代視覺推理數(shù)據(jù)集

論文地址：http://ptr.csail.mit.edu/assets/ptr.pdf
項目主頁：http://ptr.csail.mit.edu

1、背景介紹

視覺推理要求機器通過觀察給定的場景來回答推理問題。近年來，由于在自然數(shù)據(jù)中存在大量的噪聲和偏差，研究人員合成數(shù)據(jù)集。合成數(shù)據(jù)集的生成是完全可控的，因此研究者更容易診斷推理模型中的不足。CLEVR[1] 是這類數(shù)據(jù)集中的代表。然而，各類視覺推理模型在 CLEVR 上的準確率已經(jīng)趨近飽和，這是因為 CLEVR 數(shù)據(jù)集的推理局限于感知層面，遠遠落后于人類在認知層面的推理能力。因此，本文提出了新一代視覺推理數(shù)據(jù)集，專注于對人類來說相對容易，但在機器推理領(lǐng)域還沒有被充分發(fā)掘的新任務(wù)。

同時，之前的視覺推理數(shù)據(jù)集主要關(guān)注物體的整體特征，而不太強調(diào)詳細的局部理解。然而，心理學證據(jù)表明，人類會將視覺場景解析為部分 - 整體層次結(jié)構(gòu)。因此，本文提出的數(shù)據(jù)集主要專注于整體 - 部分關(guān)系的推理。