以前，我們一直認(rèn)為傳統(tǒng)相機(jī)將3D世界轉(zhuǎn)換為2D圖像，已可以滿足我們對于圖像的應(yīng)用，而2D圖像中丟失的三維似乎并不重要。

但隨著計算機(jī)視覺（CV）的飛速發(fā)展以及與深度學(xué)習(xí)的結(jié)合，許多雄心勃勃的研究人員試圖使機(jī)器通過攝像頭更好地了解我們的世界，以便它們可以通過許多任務(wù)來增強(qiáng)人類的能力。其中最有意義的是找回2D圖像中丟失的深度信息。

在如今諸多火爆的智能硬件中，如體感交互、遠(yuǎn)程遙控機(jī)器人、無人駕駛等場景里，CV發(fā)揮著重要作用，成功完成諸如手寫識別，對象分類、輔助駕駛之類的工作。但是，當(dāng)處理真實的3D世界時，CV就存在瓶頸。人類有兩只眼睛，使我們能夠自然地感知深度。但是，大多數(shù)CV應(yīng)用程序都依靠一臺攝像機(jī)來捕獲和解釋其周圍的環(huán)境。丟失的三維尺寸嚴(yán)重限制了CV的性能，可以說傳感器的性能就是如今虛擬與現(xiàn)實世界之間的瓶頸。

深度傳遞關(guān)鍵信息——我們將需要深度感測和2D成像來捕獲現(xiàn)實世界的全部信息。

　深度傳感器的三種技術(shù)

目前人們?nèi)绻胩綔y環(huán)境深度信息，主要依賴于三種技術(shù)，分別是相機(jī)陣列， TOF(time of flight)技術(shù)，以及基于結(jié)構(gòu)光的深度探測技術(shù)。

　結(jié)構(gòu)光：

接收器使用激光光源投射目標(biāo)物，檢測反射目標(biāo)物的變形，以基于幾何形狀計算深度圖。它必須掃描整個平面以獲得需要時間的深度圖，因此它是非常準(zhǔn)確的。但是，此方法對環(huán)境亮度敏感，因此通常僅在黑暗或室內(nèi)區(qū)域使用。

飛行時間（ToF）：

ToF主要有兩種方法。第一個很簡單：激光源發(fā)出一個脈沖，傳感器檢測到該脈沖在目標(biāo)物體上的反射，以記錄其飛行時間。知道了光的恒定速度后，系統(tǒng)可以計算出目標(biāo)物體的距離。為了確保高精度，脈沖周期必須短，這導(dǎo)致較高的成本。另外，需要高分辨率的時間數(shù)字轉(zhuǎn)換器，這會消耗很多功率。這種方法通?？梢栽诟咝阅躎oF傳感器中找到。

計算時間的另一種方法是發(fā)出調(diào)制光源并檢測反射光的相位變化。相變可以通過混合技術(shù)容易地測量。調(diào)制激光源比發(fā)出短脈沖更容易，并且混合技術(shù)比時間數(shù)字轉(zhuǎn)換器更易于實現(xiàn)。此外，LED可用作調(diào)制光源來代替激光。因此，基于調(diào)制的ToF系統(tǒng)適合于低成本ToF傳感器。

相機(jī)陣列：

攝像頭陣列方法使用放置在不同位置的多個攝像頭來捕獲同一目標(biāo)的多個圖像，并根據(jù)幾何結(jié)構(gòu)計算深度圖。在計算機(jī)視覺中，這也稱為“立體視圖”或“立體”。最簡單但最受歡迎的相機(jī)陣列是雙相機(jī)，其中兩個相機(jī)相隔一定距離以模仿人眼。對于空間中的每個點，在兩個攝像機(jī)圖像中的位置均出現(xiàn)可測量的差異。然后，通過基本幾何來計算深度。

相機(jī)陣列的主要挑戰(zhàn)是如何在多個圖像中找到匹配點。匹配點搜索涉及復(fù)雜的CV算法。目前，深度學(xué)習(xí)可以幫助您找到準(zhǔn)確度較高的匹配點，但是其計算成本很高。另外，有很多點很難找到匹配點。例如，在上面的瓦格納雕像的兩個視圖中，鼻子是最容易匹配的點，因為它的特征易于提取和比較。但是，對于面部的其他部分（尤其是面部無紋理的表面），很難找到匹配點。當(dāng)兩個相機(jī)圖像的遮擋不同時，匹配會更加復(fù)雜。目前，相機(jī)陣列作為深度傳感器的魯棒性仍然是一個具有挑戰(zhàn)性的問題。

三種深度感測技術(shù)的對比

　整體表現(xiàn)

對于深度感測，最重要的指標(biāo)是深度精度。結(jié)構(gòu)光具有最佳的深度精度性能，而相機(jī)陣列往往具有最大的深度誤差。

就深度感測范圍而言，結(jié)構(gòu)光的范圍最短，而ToF的范圍取決于光源的發(fā)射功率。例如，智能設(shè)備可能只需要幾米的距離，而自動駕駛汽車則需要幾百米。同樣，攝像機(jī)陣列的測量范圍取決于兩個攝像機(jī)之間的空間。對于常規(guī)攝像機(jī)陣列，最佳性能測量范圍通常在10m左右，盡管也顯示了某些具有極窄空間的特殊攝像機(jī)陣列可以在1m左右測量深度。

對于深度圖分辨率，結(jié)構(gòu)光的性能優(yōu)于ToF,因為可以精確控制結(jié)構(gòu)發(fā)光圖案并精確捕獲其反射圖案。從理論上講，攝像機(jī)陣列具有良好的分辨率，但這是基于兩個圖像中的完美點匹配。使用非理想的點匹配（如光滑表面）時，分辨率會降低。

最后，我們需要考慮對環(huán)境亮度的限制。結(jié)構(gòu)光需要黑暗的環(huán)境，而ToF傳感器由于快速發(fā)展的背景消除技術(shù)而可以承受更大范圍的環(huán)境亮度。對于攝像機(jī)陣列，明亮的環(huán)境效果最佳。在黑暗的房間中，相機(jī)陣列捕獲的圖像會變得嘈雜，并且對比度變差，因此點匹配變得極為困難，從而導(dǎo)致深度估計不準(zhǔn)確。

成本

攝像機(jī)陣列的成本通常最低，其開發(fā)工作主要在軟件方面。雙攝像頭解決方案已經(jīng)廣泛應(yīng)用于許多智能設(shè)備和移動電話中。ToF傳感器的成本適中，而結(jié)構(gòu)光的成本最高。但是，隨著ToF的批量生產(chǎn)，預(yù)計其成本在不久的將來會大大降低。

可擴(kuò)展性

通過展望這些技術(shù)的潛力，我們可以更好地利用它們來滿足未來的需求。

ToF是半導(dǎo)體技術(shù)，并且具有最佳的可伸縮性。它的深度精度可以通過片上時間數(shù)字轉(zhuǎn)換器/混合電路進(jìn)行縮放，其深度圖分辨率可以通過傳感器尺寸進(jìn)行縮放，其測量范圍可以通過光源功率/調(diào)制方案進(jìn)行縮放，并且其功耗可以通過用半導(dǎo)體技術(shù)擴(kuò)展規(guī)模。

另一方面，結(jié)構(gòu)光具有不錯的可伸縮性。光學(xué)系統(tǒng)是結(jié)構(gòu)光的關(guān)鍵組成部分，光學(xué)系統(tǒng)可以隨著封裝技術(shù)而擴(kuò)展（盡管不如半導(dǎo)體快）。

最后，縮放攝像機(jī)陣列主要依賴于軟件：我們將需要更好的算法來縮放其深度感應(yīng)性能。它更像是一個數(shù)學(xué)問題，而不是工程問題，而改進(jìn)硬件并沒有太大幫助。即使使用分辨率更高的相機(jī)，點匹配問題仍然存在。

資料來源：德州儀器

建議僅使用結(jié)構(gòu)光來執(zhí)行生物識別任務(wù)，因為它具有最佳的深度精度。游戲應(yīng)用需要中等深度分辨率和快速響應(yīng)，因此ToF傳感器似乎是最合適的。對于其他應(yīng)用程序（包括定位，識別，測量和增強(qiáng)現(xiàn)實），所有技術(shù)都可以做到，但是某些技術(shù)比其他技術(shù)更適合特定的應(yīng)用場景。例如，相機(jī)陣列可能最適合在需要深度測量范圍的開放空間中的AR應(yīng)用，而ToF傳感器最適合可以控制環(huán)境亮度的室內(nèi)AR.

深度傳感器的應(yīng)用

　1. AR / VR:用于感知真實的3D環(huán)境并在虛擬世界中重建它們

深度信息對于VR / AR設(shè)備的人機(jī)交互也是必需的。設(shè)備必須準(zhǔn)確響應(yīng)用戶的3D運動，因此肯定需要高性能的深度傳感器。

例如，谷歌的Project Tango使用深度傳感器來準(zhǔn)確地測量實際環(huán)境，并通知其圖形算法將虛擬內(nèi)容放置在適當(dāng)?shù)奈恢?。與Pokemon Go的AR模式相反，由于算法沒有環(huán)境深度信息，因此用戶經(jīng)常可以看到Pokemon放置在不正確的位置。

2.機(jī)器人：用于導(dǎo)航，定位，地圖繪制和避免碰撞

許多倉庫已經(jīng)利用了將物品從一個地方運輸?shù)搅硪粋€地方的全自動駕駛汽車。車輛自行行駛的能力需要深度感應(yīng)，以便能夠知道它在環(huán)境中的位置，其他重要事物的位置，最重要的是，它如何安全地從A移到B.類似地，任何用于拾取目的依賴于深度感應(yīng)來了解目標(biāo)對象在哪里以及如何獲取它。

這些相同的應(yīng)用對于任何自動駕駛汽車的成功都是必不可少的。實際上，目前無人駕駛汽車面臨的最重大挑戰(zhàn)之一是為汽車配備精確的深度傳感器和CV系統(tǒng)，而不會大幅增加成本。這仍然是一個競爭激烈的市場，許多新創(chuàng)公司都在爭奪領(lǐng)導(dǎo)地位。

3.面部識別：在防止欺詐的同時提高便利性

大多數(shù)人臉識別系統(tǒng)使用2D相機(jī)捕獲照片并將其發(fā)送給算法來確定人的身份。但是，這存在很大的漏洞：糟糕的演員會欺騙系統(tǒng)，因為他們無法分辨是看到的是真實的3D面孔還是2D照片。為了使人臉識別安全，必須使用具有深度感應(yīng)功能的3D相機(jī)。

除了阻止漏洞外，3D人臉建模還可以傳達(dá)人臉的更多特征，以實現(xiàn)更準(zhǔn)確的識別。

　4.手勢和接近檢測：用于游戲，安全性等

飛行時間（ToF）深度傳感器已被許多設(shè)備用于這些目的。在簡單的實現(xiàn)方式中，深度傳感器僅需要檢測一個點的深度信息，例如用于手勢檢測的手或用于接近度檢測的臉部。因此，具有簡單的光學(xué)器件（和較窄的視場）的深度傳感系統(tǒng)就足夠了。隨著手勢檢測的發(fā)展，使用了更復(fù)雜的深度感應(yīng)系統(tǒng)，例如Microsoft的Kinect.

　深度傳感器的創(chuàng)業(yè)機(jī)會

在未來幾年中，深度感應(yīng)將成為一個巨大的市場。當(dāng)前，深度感測中的許多技術(shù)仍有很大的改進(jìn)空間，這可能是技術(shù)初創(chuàng)公司的機(jī)會。此外，初創(chuàng)公司可以嘗試將當(dāng)前的深度感應(yīng)技術(shù)用于新興應(yīng)用。

　深度感測技術(shù)與CV應(yīng)用程序的結(jié)合

深度感測系統(tǒng)可以與當(dāng)前的計算機(jī)視覺應(yīng)用程序結(jié)合使用，以大大提高其性能并滿足實際部署的需求。這也有助于減輕極端情況的影響-2D中的許多極端情況實際上可能是3D世界中的正常情況！結(jié)果，深度感測可以使CV算法執(zhí)行我們生活中更重要的事情，其中一些甚至可以是破壞性的創(chuàng)新，從而創(chuàng)造更多的市場，例如面部識別。

　ToF傳感器——以合理的價格使用脈沖激光

當(dāng)前，用于移動設(shè)備的ToF傳感器通常使用低成本的基于調(diào)制的光源。如前所述，基于調(diào)制的光源具有范圍模糊性，并且其性能通常不如脈沖激光器。脈沖激光器已經(jīng)成功地用于LiDAR中，但其成本，功耗和尺寸仍然不適用于移動設(shè)備。

但是，LiDAR中的激光源最近發(fā)展很快。初創(chuàng)企業(yè)有可能將脈沖激光引入用于深度動態(tài)，性能至關(guān)重要的系統(tǒng)的移動式ToF傳感器中，例如針對面向業(yè)務(wù)的電子市場領(lǐng)域的AR和VR.這些應(yīng)用程序還可以提供很高的利潤率，對于初創(chuàng)企業(yè)來說是一個理想的機(jī)會。

　ToF傳感器——改善LED性能

ToF傳感器的另一端是對成本敏感的應(yīng)用程序，例如IoT.對于低成本設(shè)備，激光仍然太昂貴。LED可以在ToF傳感器中用于低成本應(yīng)用，但性能會下降。ToF傳感器的LED性能問題可以在設(shè)備或系統(tǒng)級別解決。通過該裝置，可以使用具有更高調(diào)制頻率容量的新型LED.通過改進(jìn)系統(tǒng)的模擬信號處理電路，重新配置系統(tǒng)（即使用LED陣列并組合結(jié)果）或通過實施一種新的深度評估算法。

　ToF和結(jié)構(gòu)光——提高亮度容限

環(huán)境亮度是ToF和結(jié)構(gòu)光深度傳感器的瓶頸。為了忍受來自環(huán)境的更多光，已經(jīng)提出了幾種背景消除技術(shù)。例如，在意法半導(dǎo)體（STMicroelectronics）生產(chǎn)的ToF傳感器芯片中，還集成了環(huán)境光傳感器和深度傳感器像素，以估算來自環(huán)境光的干擾。其他一些公司也提出了信號處理（模擬和數(shù)字）中的背景消除算法。

但是這些解決方案并不完美。為ToF和結(jié)構(gòu)光提供更好的背景消除仍然是深度傳感技術(shù)中的一個懸而未決的問題。如果初創(chuàng)公司可以解決這個問題，那么它的價值將是巨大的，特別是對于背景消除而言，可以使結(jié)構(gòu)的光深度感應(yīng)系統(tǒng)在明亮的環(huán)境中工作。

攝像頭陣列與ToF結(jié)合使用可實現(xiàn)高分辨率

盡管ToF傳感器的分辨率較低，但相機(jī)陣列的分辨率較高，但存在匹配問題。但是，智能設(shè)備完全可能同時包含攝像頭陣列和ToF傳感器。相機(jī)陣列還可以用于深度感應(yīng)以外的應(yīng)用程序，例如智能對焦。可能會合并來自攝像機(jī)陣列和ToF傳感器的信息，從而以高分辨率和良好的深度精度計算深度圖。該深度傳感系統(tǒng)的總成本甚至可能低于具有更高分辨率的ToF傳感器。

這些只是帶有深度傳感器的新型計算機(jī)視覺應(yīng)用的眾多未來機(jī)會中的少數(shù)。到目前為止，絕大多數(shù)計算機(jī)視覺應(yīng)用程序都涉及通過攝像機(jī)解釋2D世界。借助深度傳感器，我們?yōu)橛嬎銠C(jī)提供了整個數(shù)據(jù)范圍，極大地擴(kuò)展了計算機(jī)能夠執(zhí)行的功能的可能性。