提高網(wǎng)絡(luò)物理安全和增加安全系統(tǒng)的努力已形成一個(gè)不斷發(fā)展的行業(yè)，該行業(yè)致力于超越這一挑戰(zhàn)。閉路電視模擬攝像機(jī)正快速被更高清晰度、功能豐富的數(shù)字?jǐn)z像機(jī)所取代，以便實(shí)現(xiàn)基于圖像的安全系統(tǒng)。相比之下，數(shù)字?jǐn)z像機(jī)更靈活、更智能，能夠與云服務(wù)和數(shù)據(jù)分析更緊密地集成在一起。本文將介紹就地安全監(jiān)視，它與基于云的數(shù)據(jù)分析相結(jié)合，使得在沒有電源或網(wǎng)絡(luò)基礎(chǔ)架構(gòu)的區(qū)域快速部署監(jiān)視成為了可能。

在不久的將來，我們可能依賴于快速演變的 “機(jī)器到機(jī)器” 基礎(chǔ)架構(gòu)，它的高級(jí)感知能力與人類的能力不相上下(有時(shí)甚至超越了人類的能力)。智能運(yùn)輸系統(tǒng)和自主駕駛汽車就是證明。豐田和奧迪已與谷歌聯(lián)手，在內(nèi)華達(dá)州測(cè)試類似的技術(shù)。

如今，通過使用高成本的光探測(cè)和測(cè)距 (LIDAR) 技術(shù)，再結(jié)合更簡(jiǎn)單的儀表和軟件，就可以實(shí)現(xiàn)自主操作。但這種裝置的成本在不斷下降，可見光譜計(jì)算機(jī)視覺解決方案也有降低實(shí)現(xiàn)成本的潛力。

還有一些更有趣的應(yīng)用，比如使用車輛發(fā)送車隊(duì)行為來優(yōu)化交通流，使用車輛與基礎(chǔ)架構(gòu)進(jìn)行通信，比如交通控制系統(tǒng)(例如紅燈)、機(jī)場(chǎng)空中交通控制設(shè)備，以及建筑、道路、港口、機(jī)場(chǎng)和運(yùn)輸系統(tǒng)中的基礎(chǔ)架構(gòu)傳感器、自動(dòng)化或控制系統(tǒng)。

一種已實(shí)現(xiàn)的成果是，沒有人需要為了收費(fèi)而停車或減速。此技術(shù)稱為機(jī)器間自動(dòng)化。

擁堵和游客擁擠的走廊地帶(比如加利福尼亞州的 5 號(hào)州際公路)都能從貨車運(yùn)輸?shù)能囮?duì)自動(dòng)化中受益。在不到 10 年的時(shí)間內(nèi)，私家車或許就能夠利用此功能(參見 參考資料)。谷歌汽車存在已有超過 8 年的時(shí)間，自斯坦福大學(xué)的 Sebastian Thrun 團(tuán)隊(duì)贏得 2005 年美國國防高級(jí)計(jì)劃研究署挑戰(zhàn)賽以來，谷歌汽車就一直在運(yùn)行。

在不太擁堵的地方，比如阿拉斯加，可借助機(jī)器間高級(jí)感知來監(jiān)視北極圈的活動(dòng)，為港口提供更好的安全保護(hù)，執(zhí)行環(huán)境調(diào)查和保護(hù)資源，以及探索北坡油田的能源(參見 參考資料)。

在一些最偏遠(yuǎn)、嚴(yán)酷和擁堵的環(huán)境中，有可能實(shí)現(xiàn)機(jī)器間系統(tǒng)最大的優(yōu)勢(shì)。在這些地方，自動(dòng)化帶來的節(jié)省會(huì)迅速超過初始成本。對(duì)于基礎(chǔ)架構(gòu)更加受限的遠(yuǎn)程應(yīng)用，就地自供電安全監(jiān)控器能夠發(fā)揮其最大的價(jià)值。

就地傳感器網(wǎng)絡(luò)也已經(jīng)開發(fā)出來一段時(shí)間了。或許最為人熟知的就地傳感器網(wǎng)絡(luò)是通常被稱為微粒 (mote) 的傳感器網(wǎng)絡(luò)，比如 Berkeley Network Embedded Systems Technology (NEST) 和 Smart Dust 項(xiàng)目。類似地，借助采用了從熱成像到 x 射線的全光譜的自動(dòng)化技術(shù)，機(jī)器視覺也已經(jīng)有了數(shù)十年的應(yīng)用歷史。在檢查制造工藝和改善遠(yuǎn)程操作的安全上，機(jī)器視覺通常優(yōu)于人類的能力。

本文主要將介紹機(jī)器間系統(tǒng)的低成本 3D 和多光譜呈現(xiàn)的就地部署。

就地計(jì)算機(jī)視覺的價(jià)值

許多安全應(yīng)用可以從市區(qū)外圍的電力和數(shù)據(jù)網(wǎng)絡(luò)基礎(chǔ)架構(gòu)上存在的計(jì)算機(jī)和機(jī)器視覺中獲益。

一個(gè)簡(jiǎn)單的示例是野外作業(yè)，比如阿拉斯加北坡油田開展的能源生產(chǎn)和勘探，以及針對(duì)管道(提議的新的天然氣管道)開展的野外作業(yè)。另一個(gè)示例是災(zāi)區(qū)，這里的電力和數(shù)據(jù)基礎(chǔ)架構(gòu)都已損壞。環(huán)境合規(guī)性、資源管理和調(diào)查(由美國的 U.S. Geological Survey 處理;參見 參考資料)涉及到現(xiàn)場(chǎng)數(shù)據(jù)收集。最終，能源和數(shù)據(jù)未全面開發(fā)的建設(shè)項(xiàng)目也可以從就地計(jì)算機(jī)視覺中獲益。

在過去，安全服務(wù)依賴于在高成本、低頻率之上的無人駕駛飛機(jī)、人類徒步旅行和艱巨的地面導(dǎo)航。要提供真正有用的數(shù)據(jù)，就地計(jì)算機(jī)視覺平臺(tái)必須提供與人類相匹敵的、甚至超越人類的觀察力，將視覺擴(kuò)展到紅外光譜，采用 3D 成像來生成測(cè)距和環(huán)境的點(diǎn)云模型(參見參考資料)。

點(diǎn)云(point cloud)基于多個(gè)攝像機(jī)的觀察結(jié)果提供了一個(gè)場(chǎng)景的 3D 數(shù)據(jù)模型，通常與雙目取景攝像機(jī)一起使用，或者通過多個(gè)攝像機(jī)從多個(gè)協(xié)調(diào)的視角對(duì)同一個(gè)場(chǎng)景進(jìn)行觀察。任何可就地放置(或許裝在三腳架上)或裝在樹上的攝像機(jī)都可以經(jīng)過調(diào)整用在無人操縱的天線系統(tǒng)中。想象一臺(tái)類似于流行的 GoPro 可穿戴攝像機(jī)的多光譜 3D 攝像機(jī)(參見 參考資料)，但內(nèi)置了更復(fù)雜的探測(cè)器和計(jì)算能力。

我正在與一些研究贊助商、科羅拉多大學(xué)和阿拉斯加大學(xué)安克雷奇分校的研究生和大學(xué)生一起致力于這種設(shè)備的研究。盡管可以使用現(xiàn)成的硬件和軟件創(chuàng)建這樣一種設(shè)備，但我們團(tuán)隊(duì)認(rèn)為我們需要更好的資源。后續(xù)幾個(gè)小節(jié)將介紹各個(gè)步驟和所需的技術(shù)。

如何構(gòu)建就地 3D 攝像機(jī)

構(gòu)建一個(gè)現(xiàn)成的就地 3D 攝像機(jī)很簡(jiǎn)單。但是，要讓設(shè)備變得實(shí)用，則必須讓計(jì)算機(jī)視覺處理的電源需求、大小、上線鏈路機(jī)制、數(shù)據(jù)存儲(chǔ)和智能切實(shí)可行。要使用開源軟件和現(xiàn)成的硬件構(gòu)建這個(gè)設(shè)備，必須集成以下組件：

計(jì)算光度計(jì)開放硬件可以使用來自 Texas Instruments 的運(yùn)行 Linux® 的 BeagleBoard xM 平臺(tái)輕松地構(gòu)建。實(shí)際上，我為此用途預(yù)先配置了一個(gè)基于 Ubuntu 和 Debian 的預(yù)先構(gòu)建的發(fā)行版。我使用這個(gè)簡(jiǎn)單的處方作為大學(xué)課程的移動(dòng)、嵌入式計(jì)算機(jī)視覺教學(xué)和試驗(yàn)工作的平臺(tái)。xM 平臺(tái)有一個(gè)針對(duì)高清攝像機(jī)的內(nèi)置數(shù)字?jǐn)z像機(jī)端口。

BeagleBoard xM 的固態(tài)存儲(chǔ)錄制只需要 Linux 文件系統(tǒng)上的文件系統(tǒng)空間或具有正確的編解碼器(使用 Texas Instruments Open Multimedia Applications Platform [TI-OMAP] 硬件加速，分別使用 MPEG 和 JPEG 來壓縮數(shù)字視頻和圖像的編碼和解碼軟件)的外部 USB 閃存驅(qū)動(dòng)器。

GStreamer 從計(jì)算光度計(jì)傳輸無法存儲(chǔ)或必須存儲(chǔ)在云中的視頻。這是參與 Open Computational Photometer 項(xiàng)目的學(xué)生研究者打算集成到未來參考 Linux 配置中的一個(gè)新特性。

為攝像機(jī)接口集成現(xiàn)場(chǎng)可編程門陣列 (FPGA) 或 GPU 協(xié)處理，是一個(gè)為 Open Computational Photometer 概念的低功耗、高度并行化的像素轉(zhuǎn)換提供支持的關(guān)鍵特性。該項(xiàng)目使用 Altera Development and Education 主板 DE0 和 DE2i。這個(gè)集成步驟比較復(fù)雜，但很重要，科羅拉多大學(xué)和阿拉斯加大學(xué)安克雷奇分校的 Open Computational Photometer 項(xiàng)目需要構(gòu)建自定義硬件，并使用它們作為我們的研究贊助商的開放硬件參考設(shè)計(jì)來發(fā)布。

開放計(jì)算光度計(jì)的就地部署需要 BeagleBoard xM TI-OMAP 和 FPGA 協(xié)處理的電池電源。所幸，許多移動(dòng) Linux 用戶已經(jīng)為 BeagleBoard xM 發(fā)明了許多電池電源選項(xiàng)。類似地，Altera 擁有 DE0 Nano 的合適的電池供電解決方案。

無線上行鏈路擁有簡(jiǎn)單的現(xiàn)成的 USB 設(shè)備解決方案，包含 Xbee、ZigBee 和蜂窩調(diào)制解調(diào)器 GSM(參見 參考資料)。我們面臨的挑戰(zhàn)在于：支持來自非常遠(yuǎn)的位置，通過 MPEG 傳輸帶寬(從 1Mbps 到標(biāo)清視頻)實(shí)現(xiàn)的無線上行鏈路。來自 H.265(2013 年發(fā)布的標(biāo)準(zhǔn))和 H.264 的更高壓縮率將會(huì)提供一些幫助，但上行鏈路得到的是有損視頻。市區(qū)部署無疑要容易得多，可能只需使用一個(gè) 802.11 USB 適配器和一個(gè)市區(qū)無線熱點(diǎn)。

開放計(jì)算光度計(jì)的就地部署還需要先進(jìn)的 Linux 電源管理和感知。需要做的工作比這里介紹的要多得多，但起點(diǎn)仍然是多用途輸入/輸出 (I/O)，能夠在不使用時(shí)關(guān)閉外部設(shè)備(參見 參考資料)。使用 Altera DE0 和 DE0 Nano 實(shí)現(xiàn)開放計(jì)算光度計(jì)中的圖像處理特性的一個(gè)主要原因是，與數(shù)字?jǐn)z像機(jī)端口或 USB 攝像機(jī)相比，它具有更高效率的幀轉(zhuǎn)換。

自定義雙目取景接口板不是一個(gè)現(xiàn)成的元素。科羅拉多大學(xué)和阿拉斯加大學(xué)安克雷奇分銷的團(tuán)隊(duì)正在努力將這個(gè)接口板構(gòu)建為開放硬件。自定義雙目取景接口板尚未公開，但我們打算發(fā)布一個(gè)參考設(shè)計(jì)，希望確定一家供應(yīng)商，讓自定義雙目取景接口板可通過大學(xué)計(jì)劃購買和供開發(fā)人員使用，就像 DE0 一樣。公眾有望在 2014 年，在我們測(cè)試了第一個(gè)修訂版之后看到它。該團(tuán)隊(duì)最終決定構(gòu)建攝像機(jī)接口板，原因如下：

下至信號(hào)級(jí)別的完全開放的設(shè)計(jì)(用于教育);

來自兩個(gè)或多個(gè)攝像機(jī)的全面協(xié)調(diào)了時(shí)間的圖像捕獲，實(shí)現(xiàn)準(zhǔn)確的時(shí)間和圖像注冊(cè);

可靠的幀率和緩沖延遲。

最重要的方面是，攝像機(jī)數(shù)據(jù)路徑直接向一個(gè) FPGA 先入先出 (FIFO) 緩沖區(qū)提供數(shù)據(jù)，以便實(shí)現(xiàn)并發(fā)執(zhí)行狀態(tài)機(jī)驅(qū)動(dòng)的像素轉(zhuǎn)換，而不是成本高得多的基于 CPU 的轉(zhuǎn)換。這里所采用的理念是，讓 FPGA 執(zhí)行與計(jì)算機(jī)視覺協(xié)處理器一樣多的低級(jí)逐像素轉(zhuǎn)換，這非常類似于 GPU 卸載光柵圖的低級(jí)處理方面。我們將 FPGA 視為一個(gè)計(jì)算機(jī)視覺處理單元 (CVPU)。

這絕不是計(jì)算光度計(jì)技術(shù)所需組件的完整列表，您可以在 參考資料 中找到更多的組件。這里的目標(biāo)是調(diào)整您對(duì)計(jì)算攝影和光度計(jì)的看法，降低成本，讓計(jì)算 3D 和多光譜就地部署的儀器更方便用于教育研究。

計(jì)算光度計(jì)的設(shè)計(jì)概念

在許多大學(xué)的嵌入式系統(tǒng)和 Capstone 程序中，學(xué)生通常基于抓幀器(以及我改編自 Linux 的針對(duì) Bt878 的 VxWorks 驅(qū)動(dòng)程序)來構(gòu)建立體視覺系統(tǒng)。

Capstone 學(xué)生還構(gòu)建了自定義接口解決方案，但攝像機(jī)通常難以(全幀率)集成，難以嵌入用于移動(dòng)用途，或者難以處理，因?yàn)樗鼈兪蔷哂性愀獾奈臋n專用硬件。低成本現(xiàn)成網(wǎng)絡(luò)攝像機(jī)和移動(dòng)攝像機(jī)的其他挑戰(zhàn)包括：有線的高級(jí)光學(xué)配置選項(xiàng)(大多數(shù)鏡頭都是內(nèi)置的，您必須忍受它們)、笨拙的封裝，以及讓計(jì)算機(jī)視覺難以實(shí)現(xiàn)的幀編碼(例如沒有原始 RGB 或 YUV 輸出的 MJPEG)。

舊的模擬 National Television System Committee (NTSC) 攝像機(jī)和 Bt878 等抓幀器仍然是更好的選擇之一，它們具有大范圍 NTSC 色彩、一致的幀率、針對(duì)直接內(nèi)存存取 (DMA) 和中斷的低級(jí)驅(qū)動(dòng)程序集成，以及大量的光學(xué)和互補(bǔ)金屬氧化物半導(dǎo)體 (CMOS)/電荷耦合器件 (CCD) 探測(cè)器，這些探測(cè)器價(jià)格從 10 美元到 1,000 美元不等，但對(duì)更高成本的攝像機(jī)而言，它們具有明確的光學(xué)優(yōu)勢(shì)。

網(wǎng)絡(luò)攝像頭是一種糟糕的替代選擇 — 專用、固定的光學(xué)器件;不一致的幀率和緩沖;有限的文檔;以及與使用 Alpha、Red、Green 和 Blue (ARGB) 通道實(shí)現(xiàn)色彩像素照度(例如 YCbCr)相比有損的像素色彩格式。此外，在教育研究方面，直接通過 FIFO 傳輸捕獲的像素?cái)?shù)據(jù)是一個(gè)理想選擇，它具有高度并發(fā)的 FPGA 狀態(tài)機(jī)操作，以及高度準(zhǔn)確的立體視覺雙通道協(xié)調(diào)、時(shí)間戳和注冊(cè)。

任何這些選擇似乎都無法即取即用，所以我們啟動(dòng)了一個(gè)項(xiàng)目，為 Altera FPGA 板的 DE 行構(gòu)建了一個(gè)雙通道模擬攝像機(jī)捕獲板(使用 Texas Instruments TVP 解碼器)。此項(xiàng)目的目標(biāo)是使用可供教育研究機(jī)構(gòu)用于計(jì)算光度測(cè)定的開放硬件。Camera Link(參見 參考資料)等替代選擇可通過子卡用于更高端的 Altera DE4 接口板，但此解決方案的費(fèi)用很高，不適合學(xué)生。該項(xiàng)目的一個(gè)目標(biāo)是使雙通道子卡的成本不高于一本教材。

圖 1 顯示了開放計(jì)算光度計(jì)的概念設(shè)計(jì)。要注意的關(guān)鍵特性是，模擬攝像機(jī)直接通過雙 Texas Instruments 模擬視頻解碼器向 DE0 或 DE2i I/O 標(biāo)頭和 FPGA FIFO 提供數(shù)據(jù)。

此配置使得開放計(jì)算光度計(jì) FGPA 設(shè)計(jì)能夠轉(zhuǎn)換 FIFO 中的數(shù)據(jù)，并為 DE2i 上的交叉鏈接生成有關(guān)聯(lián)的類似元數(shù)據(jù)的時(shí)間戳，通過 PCIe 將它們傳輸?shù)?Intel Atom 多核微處理器，或者通過雙 USB 2.0 鏈接將它們傳輸?shù)?TI-OMAP BeagleBoard 處理器(或任何 Linux 筆記本電腦)。

開放計(jì)算光度計(jì)包含對(duì) USB Video Class (UVC) 驅(qū)動(dòng)程序的更新，以便允許這個(gè)自定義的雙目取景攝像機(jī)輕松地與 Linux 連接。將來可能會(huì)發(fā)布有關(guān)的更多技術(shù)信息，參考設(shè)計(jì)將通過一個(gè)與我們的行業(yè)供應(yīng)商合作的大學(xué)計(jì)劃公開。此設(shè)計(jì)的具體工作原理有待確定，但我們計(jì)劃在 2014 年春季進(jìn)行測(cè)試和集成，希望在 2014 年某個(gè)時(shí)刻發(fā)布它。

圖 1. 包含部分現(xiàn)成組件的開放計(jì)算光度計(jì)：設(shè)計(jì)概念

那么為什么僅對(duì)計(jì)算光度計(jì)使用網(wǎng)絡(luò)攝像頭、OpenCV 和 Linux 呢?

OpenCV 是 Intel 開發(fā)且開源的 Open Computer Vision 應(yīng)用編程接口 (API)，它的誕生是因?yàn)檠芯坑?jì)算機(jī)視覺和交互式系統(tǒng)的大學(xué)發(fā)現(xiàn)能夠從可重用的圖像處理算法中獲得巨大好處。基于大量?jī)?yōu)秀的 OpenCV 參考資料，我創(chuàng)建了一個(gè)立體網(wǎng)絡(luò)攝像頭示例(參見 下載)。

這個(gè)示例可以運(yùn)行，但您可能會(huì)發(fā)現(xiàn)，幀率不是固定的 29.97Hz，比如 NTSC 閉路攝像機(jī)所提供的色彩。幀率可能是變化的。其次，所有幀轉(zhuǎn)換都在通過從網(wǎng)絡(luò)攝像頭到 Linux CPU 的直接內(nèi)存存取 (DMA) 來訪問數(shù)據(jù)后完成。假設(shè)它們?cè)跁r(shí)間上大體同步(或許是一種安全的假設(shè)，除非它是一種高速運(yùn)動(dòng)場(chǎng)景)。

CPU Canny 邊緣轉(zhuǎn)換(甚至是模糊化、銳化和像 Hough linear 這樣更高級(jí)的轉(zhuǎn)換)的真實(shí)問題是，CPU 未針對(duì)此處理而進(jìn)行優(yōu)化。非常類似于 GPU 通過矢量處理和專門構(gòu)建的多核流處理器，需要從 CPU 卸載呈現(xiàn)數(shù)據(jù)的光柵化工作，我們還構(gòu)想了一個(gè) CVPU，Khronos 也是如此 (OpenVX)。

這種卸載 OpenCV 的專門構(gòu)建的協(xié)處理具有很大的優(yōu)勢(shì)。OpenCV 擁有使用 GPU 和通用 GPU 的硬件加速特性，但為什么不直接在來自攝像機(jī)的路徑上應(yīng)用此處理，而不用執(zhí)行從攝像機(jī)到 CPU，到 GPU，再返回到 CPU 的 I/O。

直接與低成本攝像機(jī)連接的協(xié)處理器非常有用 — 而且可通過 Camera Link 和 DE4 子卡實(shí)現(xiàn)，但成本比教材更高(相當(dāng)于一個(gè)高端網(wǎng)絡(luò)攝像頭)。現(xiàn)在，讓我們繼續(xù)看看 Linux 筆記本電腦上的網(wǎng)絡(luò)攝像頭和 OpenCV(如果還沒有網(wǎng)絡(luò)攝像頭，最多花 60 美元)，探索更多的選擇。我使用了 Logitech C270 網(wǎng)絡(luò)攝像頭(參見 參考資料)。

使用 OpenCV 和網(wǎng)絡(luò)攝像頭獲取幀和生成視差圖

網(wǎng)絡(luò)攝像頭立體視覺的另一個(gè)挑戰(zhàn)是計(jì)算攝像機(jī)的方方面面，這需要基于雙目視差來計(jì)算與物體的距離。此過程很復(fù)雜，需要觀察參照?qǐng)鼍?OpenCV 棋盤)，以便參照物理坐標(biāo)來校準(zhǔn)攝像機(jī)像素坐標(biāo)，計(jì)算攝像機(jī)光學(xué)維度(探測(cè)器尺寸和焦距)，考慮一個(gè)基準(zhǔn)面上兩個(gè)分開的焦平面的任何平面外朝向。

圖 2 描繪了立體視覺測(cè)距修正計(jì)算，以便完美地放平攝像機(jī)(探測(cè)器位于由一個(gè)已知基準(zhǔn)線分開的相同平面上，已知的探測(cè)器尺寸和焦距是相同的)。攝像機(jī)中的非線性和畸變(球面像差 — 魚眼或沙漏場(chǎng)景畸變)，以及平面外探測(cè)器及攝像機(jī)探測(cè)器和焦距差異，都會(huì)導(dǎo)致簡(jiǎn)單三角測(cè)定結(jié)果的重大錯(cuò)誤。

此外，對(duì)于網(wǎng)絡(luò)攝像頭，您可能很難找到焦距和探測(cè)器尺寸(除了通過攝像機(jī)的間接描述)。學(xué)習(xí) OpenCV 的第 12 章和大量?jī)?yōu)秀的 OpenCV 參考資料都非常詳細(xì)地介紹了此主題(參見 參考資料)。

圖 2. 簡(jiǎn)單的平面立體三角測(cè)定法

圖 2 顯示了如何通過一個(gè)中心交點(diǎn)像素，計(jì)算距離每個(gè)攝像機(jī)探測(cè)器上已注冊(cè)的某個(gè)物體的距離。(需要執(zhí)行一些處理才能找到交點(diǎn)。本文未介紹此主題，但您可以在 OpenCV samples/cpp/stereo_match.cpp 中了解有關(guān)的更多信息。)該圖是概念性的，僅適用于完美對(duì)齊的攝像機(jī)和焦平面(一種幾乎不可能的壯舉)，但該圖展示了得出與雙目取景攝像機(jī)觀察到的物體的距離的基本數(shù)學(xué)運(yùn)算概念，比如這里提議的攝像機(jī)或兩個(gè)簡(jiǎn)單的網(wǎng)絡(luò)攝像頭。

學(xué)習(xí) OpenCV 中的第 12 章和 stereo_match.cpp 提供了更好的計(jì)算示例;事實(shí)上，stereo_match.cpp 可從左側(cè)和右側(cè)圖像生成一個(gè)點(diǎn)云。除了準(zhǔn)確對(duì)齊之外，雙目取景攝像機(jī)的光學(xué)原理模型也非常有用。但是，對(duì)于更好的光學(xué)設(shè)計(jì)，仍然需要每個(gè)相機(jī)的特征描述和校準(zhǔn)，OpenCV 在這方面提供了很好的支持。

類似于立體測(cè)距，兩個(gè)攝像機(jī)(或雙眼)看到左側(cè)和右側(cè)圖像上相同的對(duì)象偏移，該偏移與從攝像機(jī)基準(zhǔn)線到所觀察到的(相同)物體的距離成比例。這是一個(gè)主要的距離線索，有助于對(duì)距離附近物體的距離進(jìn)行準(zhǔn)確判斷，對(duì)較遠(yuǎn)的物體進(jìn)行不那么準(zhǔn)確的判斷。如 圖 3 中所示，您可以計(jì)算一個(gè)視差圖，根據(jù)左側(cè)和右側(cè)圖像中的相同點(diǎn)之間的視差為某個(gè)灰階映射圖像著色。

該示例有許多由于錯(cuò)誤對(duì)齊而導(dǎo)致的錯(cuò)誤，由于對(duì)象(我 3 歲的兒子)的快速移動(dòng)和缺乏校準(zhǔn)，導(dǎo)致右側(cè)圖像模糊，但它至少生成一個(gè)視差估算結(jié)果。通過花費(fèi)大量精力來了解 OpenCV 中的視差算法中的參數(shù)，使用三腳架或光具座來校準(zhǔn)和對(duì)齊攝像機(jī)，我們可得到一個(gè)不錯(cuò)的視差圖。

圖 3. 來自網(wǎng)絡(luò)攝像頭軟件的右側(cè)、左側(cè)和視差圖

stereo_capture.cpp 下載(參見 下載 中的 example-stereo.zip)的主要作用是支持您試驗(yàn)并學(xué)習(xí) OpenCV，還突出了非專用的、包含計(jì)算協(xié)處理器的高質(zhì)量的低成本雙目取景攝像機(jī)的價(jià)值。如上所述，網(wǎng)絡(luò)攝像頭的幀率通常不可靠。

圖 4. 網(wǎng)絡(luò)攝像頭通常具有的較低并且不一致的幀率

科羅拉多大學(xué)博爾德分校和阿拉斯加大學(xué)安克雷奇分校開展的計(jì)算光度計(jì)工作的目的是，創(chuàng)建一種參考設(shè)計(jì)供其他對(duì)計(jì)算機(jī)視覺、儀器構(gòu)建和設(shè)計(jì)感興趣的研究人員和教育者使用。該項(xiàng)目的重點(diǎn)工作是可視 3D 圖像捕獲，但我們希望這會(huì)開啟更多學(xué)術(shù)性開放硬件工作，以便提供多光譜計(jì)算光度計(jì)，尤其是紅外光度計(jì)。舉例而言，這可能對(duì)阿拉斯加的北極圈冰層觀察很有用。請(qǐng)參閱本文的備注部分，獲取有關(guān)的更新。

結(jié)束語

就地高級(jí)計(jì)算機(jī)視覺系統(tǒng)在安全應(yīng)用中有很高的應(yīng)用價(jià)值。歡迎與我們一起，通過即將公布的大學(xué)和開發(fā)人員計(jì)劃為開放硬件和 Open Computational Photometer 項(xiàng)目提供支持。盡管我們的設(shè)計(jì)不太完美，非常類似開源 Linux，但每個(gè)人都可以訪問并改進(jìn)它。

高質(zhì)量、價(jià)格合理的立體計(jì)算機(jī)視覺將可供所有人使用。當(dāng)然，它的價(jià)值不僅體現(xiàn)在安全方面，還包含簽名等應(yīng)用(例如，利用無人駕駛飛行器評(píng)估谷物損害和自動(dòng)化的噴灑殺蟲劑)。對(duì)于地球物理調(diào)查和監(jiān)視，創(chuàng)建高質(zhì)量 3D 圖像和模型的能力對(duì)航道監(jiān)視、火山爆發(fā)、森林和生態(tài)系統(tǒng)都很有價(jià)值。對(duì)于遠(yuǎn)程社交互動(dòng)，這些設(shè)備對(duì)遠(yuǎn)距離醫(yī)學(xué)和社交網(wǎng)絡(luò)應(yīng)用具有很大的價(jià)值。

仍然存在的一個(gè)挑戰(zhàn)是如何提供和顯示 3D 信息。在這方面，Point Cloud Library 提供了豐富的選項(xiàng)以及越來越龐大的消費(fèi)者顯示信息池。我們將進(jìn)一步探索這些主題，考慮低成本的硬件加速計(jì)算光度測(cè)定方面的一些建議。

就地計(jì)算光度計(jì)和數(shù)字視頻分析處理在云中的應(yīng)用才剛剛開始。提供一個(gè)更安全的世界的前景激動(dòng)人心。與此同時(shí)，許多人擔(dān)憂不再有隱私。請(qǐng)記住， 全球 70 多億人都是有機(jī)的、雙目取景視覺系統(tǒng)，他們每天都在侵犯您的隱私。