一文聊聊激光雷達(dá)與相機(jī)標(biāo)定的時(shí)間戳同步問(wèn)題
01 相機(jī)特性-曝光和讀出
相機(jī)獲取一幀圖像分為曝光和讀出兩個(gè)階段。相機(jī)使用的傳感器不同，相機(jī)的曝光時(shí)間和讀出時(shí)間的重疊關(guān)系也有所不同，分為交疊曝光和非交疊曝光兩種。
疊曝光和非交疊曝光相比，交疊曝光可以減少曝光時(shí)間對(duì)出圖時(shí)間的影響。
非交疊曝光是指當(dāng)前幀的曝光和讀出都完成后，再進(jìn)行下一幀的曝光和讀出。非交疊曝光幀周期大于曝光時(shí)間與幀讀出時(shí)間的和。
內(nèi)觸發(fā)模式非交疊曝光
交疊曝光是指當(dāng)前幀的曝光和前一幀的讀出過(guò)程有重疊，即前一幀讀出的同時(shí)，下一幀已經(jīng)開(kāi)始曝光。交疊曝光幀周期小于等于曝光時(shí)間與幀讀出時(shí)間的和。
內(nèi)觸發(fā)模式交疊曝光
對(duì)！上一段就是為了告訴你：后文敘述中無(wú)論當(dāng)前幀曝光時(shí)間和上一幀的讀出時(shí)間是否重疊都不要驚訝。
02 圖像采集：觸發(fā)模式（外部輸入）
相機(jī)的觸發(fā)模式分為內(nèi)觸發(fā)模式和外觸發(fā)模式 2 種。
內(nèi)觸發(fā)模式：相機(jī)通過(guò)設(shè)備內(nèi)部給出的信號(hào)采集圖像。
外觸發(fā)模式：相機(jī)通過(guò)外部給出的信號(hào)采集圖像。外部信號(hào)可以是軟件信號(hào)，也可以是硬件信號(hào)，主要包含軟觸發(fā)和硬件觸發(fā)。外觸發(fā)模式如圖：
外觸發(fā)模式
軟觸發(fā)：觸發(fā)信號(hào)由軟件發(fā)出(也可以利用相機(jī)SDK提供的API接口進(jìn)行軟觸發(fā))。
硬件觸發(fā)：外部設(shè)備通過(guò)相機(jī)的 I/O 接口與相機(jī)進(jìn)行連接，觸發(fā)脈沖信號(hào)由外部設(shè)備給到相機(jī)進(jìn)行采圖。其實(shí)是直接對(duì)相機(jī)內(nèi)部寄存器進(jìn)行讀寫(xiě)。下圖是海康相機(jī)的電源IO的6-pin線纜：
海康相機(jī)電源及IO接口（6-pin Hirose）
其中，海康相機(jī)有1個(gè)光耦隔離輸入Line0+，1個(gè)可配置輸入輸出Line2+，可選擇一個(gè)配置為輸入信號(hào)。
03 觸發(fā)輸出
相機(jī)觸發(fā)輸出信號(hào)為開(kāi)關(guān)信號(hào)，可用于控制報(bào)警燈、光源、PLC等外部設(shè)備。觸發(fā)輸出信號(hào)可通過(guò)Strobe 信號(hào)實(shí)現(xiàn)。
相機(jī)的曝光發(fā)生時(shí)，會(huì)立即輸出一個(gè)Strobe信號(hào)，該信號(hào)為高電平有效。后文我們主要使用該信號(hào)對(duì)Lidar等其他傳感器進(jìn)行硬觸發(fā)。這里有一個(gè)Strobe的預(yù)輸出的概念。Strobe信號(hào)早于曝光生效。其工作原理為延遲曝光先進(jìn)行Strobe輸出。該功能可應(yīng)用于響應(yīng)比較慢的外部設(shè)備。Strobe預(yù)輸出時(shí)序如圖所示。（后面會(huì)講為啥要延遲曝光）。
Strobe信號(hào)預(yù)輸出時(shí)序
現(xiàn)在我們回到正題吧，現(xiàn)在講起來(lái)就很快了。
要同步相機(jī)和激光雷達(dá)的時(shí)間戳主要有三個(gè)方式，硬觸發(fā)、軟觸發(fā)、軟觸發(fā)+硬觸發(fā)。下面我以手繪示意圖的形式一一介紹。
先說(shuō)硬觸發(fā)吧。一個(gè)MCU產(chǎn)生脈沖信號(hào)對(duì)三個(gè)傳感器設(shè)備進(jìn)行硬觸發(fā)。
對(duì)于軟觸發(fā)+硬觸發(fā)來(lái)說(shuō)，可以先用相機(jī)SDK的API對(duì)一個(gè)相機(jī)進(jìn)行軟觸發(fā)，然后利用相機(jī)的外觸發(fā)信號(hào)Strobe對(duì)雷達(dá)和相機(jī)等其他傳感器進(jìn)行硬觸發(fā)。
這里需要注意一個(gè)問(wèn)題，如果進(jìn)行軟觸發(fā)的第一個(gè)相機(jī)在曝光的同時(shí)發(fā)出Strobe信號(hào)，其他被硬觸發(fā)的傳感器總歸是晚了一步，不能完全同步。因此引出了之前Strobe的預(yù)輸出的概念，即先進(jìn)行Strobe輸出再延遲曝光。
配置該模式時(shí)注意四點(diǎn)：
- 上升沿 or 下降沿的觸發(fā)方式；
- 有效電平寬度，電平幅值，你要知道能觸發(fā) Lidar 的最低幅值；
- Strobe 預(yù)輸出；
- 兩邊電平信號(hào)是否一樣，3v or 5v 是否需要升壓；
最后講講不被推薦的軟觸發(fā)。
首先調(diào)用API操作相比于硬觸發(fā)（對(duì)傳感器內(nèi)部寄存器直接進(jìn)行讀寫(xiě)操作）明顯是慢了，執(zhí)行第二句命令A(yù)PI(2)前API(1)就已經(jīng)花了些時(shí)間。
//讀取lidar和image數(shù)據(jù)的線程1
while(1)
{
API(1); //軟觸發(fā)第一個(gè)sensor
API(2); //軟觸發(fā)第二個(gè)sensor
//假設(shè)脈沖周期為0.5s
}
//處理數(shù)據(jù)線程2
for(i=0;i<nimage;i++)
{
t1 = getTickCount();
//部分程序有互斥鎖
t2 = getTickCount();
Time = (t2 - t1) / getTickFrequency(); //當(dāng)前幀處理時(shí)間
sleep(1/fps-Time);
}如上圖示意，如果處理單幀數(shù)據(jù)的時(shí)間超過(guò)0.5s，線程1就會(huì)讀到下一幀數(shù)據(jù)，就會(huì)導(dǎo)致線程2數(shù)據(jù)混亂。因此線程2單幀處理時(shí)間需要小于0.5s，且每幀需要等待（1/fps-當(dāng)前幀處理時(shí)間)。
