臉書開源自家AR核心技術(shù),能快速識別影片中的物體
Facebook AI 研究院于日前開源由 Python 語言編寫的基于深度學習框架 Caffe2 的物體識別框架 Detectron。其中包含多個重要且熱門的目標檢測算法,Detectron 能夠根據(jù)電腦視覺的任務,自動產(chǎn)生適合的模型。
臉書在去年 F8 大會上大秀 AR/VR 應用,尤其展示了多種在生活場景疊加圖片的 AR 技術(shù),今日開源的目標檢測框架Detectron,可以快速在影片或圖片中辨別出物體的形狀或邊緣,方便疊加影像。

Detectron 項目于 2016 年 7 月啟動,當時的目標就是要在深度學習框架Caffe2上,創(chuàng)造一個快速且具有彈性的目標檢測系統(tǒng),后來進入預覽的開發(fā)階段。在過去一年半的時間里,Detectron已經(jīng)成熟并可以支持FAIR多數(shù)的項目,包括Mask R-CNN 、Focal Loss for Dense Object Detection,它們分別在2017年ICCV 獲得 Marr 獎和***學生論文獎。這些由 Detectron 支持的算法為重要的計算機視覺任務(例如實例分割(Instance segmentation))提供了直觀的模型,除此之外,Detectron對于一些視覺感知系統(tǒng)也會有很大的幫助。
在臉書AI研究院內(nèi)部,Detectron已經(jīng)用在多個項目中,像是Feature Pyramid Networks for Object Detection、Mask R-CNN、Detecting and Recognizing Human-Object Interactions、Focal Loss for Dense Object Detection、Non-local Neural Networks, Learning to Segment Every Thing和Data Distillation: Towards Omni-Supervised Learning。
而臉書 AI 研究院將 Detectron 開源的目的是,能夠讓 FAIR 的研究與大家分享,來加速全世界的研究成果。除了研究之外,臉書團隊用Detectron,為不同的重要應用,訓練出定制化的模型,模型訓練完成后,即可通過輕量級且模塊化的 Caffe2 部署于云端、行動裝置,臉書期望 Detectron 能夠幫助發(fā)展出下一代的目標檢測技術(shù)。
此外,Ross Girshick表示,臉書AI研究院也在模型動物園(Model Zoo)中,發(fā)布超過70個已用Detectron訓練過的模型,提供開發(fā)者下載,創(chuàng)造出自己的目標檢測系統(tǒng)。