3D視覺是一個(gè)多學(xué)科相融合的技術(shù)，可以總結(jié)為：計(jì)算圖形學(xué)+計(jì)算機(jī)視覺+人工智能=3D視覺。3D視覺技術(shù)是通過(guò)3D攝像頭采集視野空間內(nèi)每個(gè)點(diǎn)位的三維座標(biāo)信息，通過(guò)算法復(fù)原獲取三維立體成像，不會(huì)輕易受到外界環(huán)境、復(fù)雜光線的影響，與2D成像技術(shù)相比更穩(wěn)定，體驗(yàn)感更強(qiáng)，安全性更高。
3D傳感器作為3D視覺的眼睛，通過(guò)多個(gè)攝像頭與深度傳感器的組合能夠獲得物體三維位置及尺寸等數(shù)據(jù)，實(shí)現(xiàn)三維信息采集。目前3D視覺傳感器主要有雙目相機(jī)、結(jié)構(gòu)光相機(jī)及TOF（Time of flight）相機(jī)。
·3D結(jié)構(gòu)光技術(shù)原理：采用紅外光源，發(fā)射出來(lái)的光經(jīng)過(guò)一定的編碼投影在物體上， 這些圖案經(jīng)物體表面反射回來(lái)時(shí)，隨著物體距離的不同會(huì)發(fā)生不同的形變。圖像傳感器將形變后的圖案拍下來(lái)，基于三角定位法，通過(guò)計(jì)算拍下來(lái)的圖案里的每個(gè)像素的變形量，來(lái)得到對(duì)應(yīng)的視差，從而進(jìn)一步測(cè)算深度值。
·TOF工作原理：采用紅外光源發(fā)射高頻光脈沖到物體上，然后接收從物體反射回去的光脈沖，通過(guò)探測(cè)光脈沖的飛行（往返）時(shí)間來(lái)計(jì)算被測(cè)物體離相機(jī)的距離。TOF目前市場(chǎng)上有兩種主流方案 dTof和iTof。行業(yè)人士認(rèn)為，未來(lái)，dtof會(huì)逐漸取代itof方案，因?yàn)閐tof在很多關(guān)鍵性能方面對(duì)于itof都有絕對(duì)優(yōu)勢(shì)，如分辨率，精度對(duì)距離感知不明顯，超低功耗，抗干擾能力強(qiáng)，標(biāo)定方式簡(jiǎn)單。但其技術(shù)壁壘較高，系統(tǒng)集成度高，供應(yīng)鏈資源少。
·雙目立體視覺技術(shù)原理：通過(guò)從兩個(gè)視點(diǎn)觀察同一物體，從而來(lái)獲得同一物體在不同視角下的圖像。通過(guò)三角測(cè)量原理來(lái)計(jì)算圖像像素間的位置偏差（視差）來(lái)獲取物體的三維圖像，過(guò)程跟人類眼睛的工作原理相似。在雙目立體視覺系統(tǒng)的硬件結(jié)構(gòu)中，通常采用兩個(gè)攝像機(jī)作為視覺信號(hào)的采集設(shè)備，通過(guò)雙輸入通道圖像采集卡與計(jì)算機(jī)連接，把攝像機(jī)采集到的模擬信號(hào)經(jīng)過(guò)采樣、濾波、強(qiáng)化、模數(shù)轉(zhuǎn)換，最終向計(jì)算機(jī)提供圖像數(shù)據(jù)。
隨著視覺技術(shù)逐步從2D向3D過(guò)渡，3D視覺傳感器以深度感知能力，在三維空間實(shí)時(shí)感應(yīng)、目標(biāo)物體精準(zhǔn)識(shí)別、多重障礙檢測(cè)避障、智能決策及自動(dòng)化引導(dǎo)等方面占據(jù)領(lǐng)先技術(shù)優(yōu)勢(shì)，目前已大批量應(yīng)用在物流電商、自動(dòng)化、制造業(yè)廠內(nèi)物流、工業(yè)及服務(wù)機(jī)器人、商業(yè)等多元化場(chǎng)景，應(yīng)用邊界不斷拓寬。
在移動(dòng)機(jī)器人領(lǐng)域，3D視覺主要用于導(dǎo)航、避障以及末端物料識(shí)別、對(duì)接。
準(zhǔn)確感知復(fù)雜環(huán)境是移動(dòng)機(jī)器人的首要任務(wù)。“環(huán)境”在這里包含多重含義，以無(wú)人叉車叉取托盤為例，既包含室內(nèi)外不同光照強(qiáng)度的干擾、前方是否有障礙、行進(jìn)路面是否空闊平坦，也包含環(huán)境有什么類型的物體、是否有人誤入需要減慢或暫停、前方托盤是空載還是滿載、滿載托盤的插孔位在哪里、又如何規(guī)劃叉取路線等。
簡(jiǎn)化邏輯就是，基于視覺感知的移動(dòng)機(jī)器人準(zhǔn)確識(shí)別周圍環(huán)境，要避開動(dòng)靜態(tài)障礙物（避障），動(dòng)態(tài)接近至到達(dá)目標(biāo)物體（導(dǎo)航），并與目標(biāo)物體正確交互（目標(biāo)探測(cè)、定位識(shí)別）。
·導(dǎo)航
在導(dǎo)航方面，視覺導(dǎo)航被認(rèn)為是未來(lái)的主要方向之一。從技術(shù)的角度而言，當(dāng)前應(yīng)用較多的2D激光導(dǎo)航，只能檢測(cè)到固定平面的障礙物，對(duì)于高于或低于此平面物體都是其盲區(qū)，3D視覺技術(shù)則可以克服此缺點(diǎn)，能夠獲取現(xiàn)實(shí)三維場(chǎng)景完整的幾何信息，利用帶有深度信息的圖像來(lái)實(shí)現(xiàn)對(duì)于場(chǎng)景的精準(zhǔn)的數(shù)字化，從而實(shí)現(xiàn)高精度的識(shí)別、定位、重建、場(chǎng)景理解等機(jī)器視覺的關(guān)鍵功能。
專注于視覺導(dǎo)航移動(dòng)機(jī)器人開發(fā)的藍(lán)芯科技表示，3D視覺SLAM無(wú)人叉車在多變場(chǎng)景、空曠環(huán)境中的應(yīng)用優(yōu)勢(shì)大于2D激光SLAM機(jī)器人。
“例如在地堆型倉(cāng)庫(kù)，地堆貨物隨時(shí)都在變動(dòng)，對(duì)采用激光SLAM方案的移動(dòng)機(jī)器人而言，頻繁的進(jìn)出庫(kù)、位置的時(shí)刻變化，意味著激光雷達(dá)掃描的輪廓時(shí)刻在變，要在不斷變化的環(huán)境中做到可靠定位是十分困難的事情。在大型空曠車間場(chǎng)景，車間內(nèi)部鋼結(jié)構(gòu)立柱間距較大，地面缺少其他固定參照物。激光SLAM機(jī)器人在這類場(chǎng)景下掃描的點(diǎn)云稀疏，定位的可靠性大大減弱。而視覺SLAM機(jī)器人通過(guò)搭載深度相機(jī)采集周圍環(huán)境圖像，采集的環(huán)境信息豐富，生成稠密點(diǎn)云圖，環(huán)境局部改變不影響機(jī)器人定位，因而擁有較高的場(chǎng)景適應(yīng)性。”
除性能外，從成本的角度來(lái)看，當(dāng)前激光傳感器的價(jià)格要遠(yuǎn)高于3D深度相機(jī)，視覺技術(shù)的應(yīng)用正好契合了移動(dòng)機(jī)器人廠商降成本的需求。
·避障
市面上避障傳感器種類繁多，如：?jiǎn)尉€激光雷達(dá)、超聲波、碰撞條等。碰撞條通常作為最后一道暴力防撞措施；超聲波避障經(jīng)常出現(xiàn)誤判；單線激光雷達(dá)存在較大盲區(qū)（只掃描二維平面內(nèi)的障礙物，低于或高于激光的障礙物無(wú)法檢測(cè)，存在較大安全隱患）；3D視覺傳感器可彌補(bǔ)激光這一缺陷。目前移動(dòng)機(jī)器人最佳避障方案應(yīng)是3D視覺傳感器＋激光雷達(dá)，——3D視覺傳感器作為中短距離精確避障，激光雷達(dá)作為遠(yuǎn)距離二維避障。因?yàn)門OF基本不存在盲區(qū)，所以目前用于AGV避障的3D視覺相機(jī)基本是TOF型的。·末端識(shí)別、對(duì)接
一些倉(cāng)庫(kù)貨物放置環(huán)境復(fù)雜，人工/貨車放置托盤的位置不夠精確，導(dǎo)致無(wú)人叉車依靠傳統(tǒng)的機(jī)械限位或者單目相機(jī)識(shí)別的方式無(wú)法準(zhǔn)確識(shí)別托盤，常常出現(xiàn)無(wú)人叉車對(duì)接托盤位置偏移角度較大，進(jìn)而導(dǎo)致進(jìn)叉失敗，叉車工作效率低下。
依靠3D 視覺進(jìn)行托盤圖像采集，結(jié)合相應(yīng)圖像處理算法對(duì)叉車貨物托盤進(jìn)行識(shí)別，并得到其位置與姿態(tài)坐標(biāo)，智能調(diào)整進(jìn)叉方向從而實(shí)現(xiàn)無(wú)人化智能托盤搬運(yùn)，解決無(wú)人叉車對(duì)接托盤位置偏移角度較大的問(wèn)題。同時(shí)，結(jié)合人工智能算法對(duì)托盤識(shí)別模型進(jìn)行強(qiáng)化訓(xùn)練和深度學(xué)習(xí)，可以進(jìn)一步提升其識(shí)別叉車貨物托盤與跟蹤的準(zhǔn)確性。導(dǎo)航、避障、末端識(shí)別對(duì)接……盡管都需要用到3D視覺技術(shù)，但由于各自的需求特性不同，對(duì)技術(shù)要求也會(huì)有一些差異。易福門相關(guān)負(fù)責(zé)人表示；“從細(xì)節(jié)上講，導(dǎo)航應(yīng)用，最重要的是測(cè)距精度和幀率，避障應(yīng)用，最重要的是FoV尺寸和幀率；末端識(shí)別應(yīng)用，最重要的則是高測(cè)距精度和點(diǎn)云密度。”
近幾年，伴隨著移動(dòng)機(jī)器人對(duì)3D視覺技術(shù)需求的上升，針對(duì)不同應(yīng)用的不同需求，為了更好的適應(yīng)場(chǎng)景，3D視覺廠商門也針對(duì)性的推出了相應(yīng)產(chǎn)品。
作為工業(yè)自動(dòng)化領(lǐng)域電子傳感器的領(lǐng)先制造商之一。易福門3D ToF相機(jī)自2017年開始在移動(dòng)機(jī)器人行業(yè)逐漸滲透，隨后不斷深入，目前已與國(guó)內(nèi)眾多移動(dòng)機(jī)器人廠商達(dá)成合作，被廣泛應(yīng)用于各大國(guó)內(nèi)外機(jī)器人公司的AMR上，包括各種無(wú)人叉車，各種潛伏式、重載式AGV等。不論是室內(nèi)還是室外用，避障導(dǎo)航還是末端識(shí)別對(duì)接，易福門都可提供非常完善的3D感知方案。
圖漾科技是全球領(lǐng)先的3D機(jī)器視覺供應(yīng)商，為工業(yè)和行業(yè)應(yīng)用提供高性價(jià)比的3D工業(yè)相機(jī)和配套軟件方案。圖漾科技基于創(chuàng)新并擁有核心專利的3D視覺技術(shù)，基于雙目散斑靜態(tài)結(jié)構(gòu)光和TOF技術(shù)平臺(tái)，現(xiàn)已推出FM/FS、FM-IX、PM/PS、TM/TL等四個(gè)產(chǎn)品系列、共30多個(gè)產(chǎn)品型號(hào)的量產(chǎn)產(chǎn)品矩陣，在移動(dòng)機(jī)器人領(lǐng)域，圖漾主要提供3D ToF工業(yè)相機(jī)TM461-E2、TL460-S1-E1(內(nèi)置AI邊緣算力)等產(chǎn)品。
而除了傳感器廠商外，自主開發(fā)視覺傳感器的移動(dòng)機(jī)器人廠商，通過(guò)實(shí)際應(yīng)用不斷打磨迭代產(chǎn)品，也開始將其視覺傳感器推向市場(chǎng)，如藍(lán)芯科技。2022年，藍(lán)芯科技開始將視覺產(chǎn)品部分獨(dú)立出來(lái)支持和賦能部分移動(dòng)機(jī)器人公司。
未來(lái)方向：更高分辨率、更快幀率、更好環(huán)境適應(yīng)性
隨著移動(dòng)機(jī)器人應(yīng)用不斷深入，要讓機(jī)器人看見世界、看清世界、看懂世界，市場(chǎng)將對(duì)其感知能力提出了更高的要求，而3D視覺技術(shù)的發(fā)展正好契合了這種需求。
圖漾科技相關(guān)負(fù)責(zé)人表示：“視覺傳感器技術(shù)的發(fā)展從早期的單點(diǎn)感應(yīng)傳感器，到2D視覺傳感器，一直到現(xiàn)在3D視覺傳感器。3D視覺傳感器更接近于人眼的傳感原理，使得3D視覺傳感技術(shù)成為目前物流移動(dòng)機(jī)器人導(dǎo)航技術(shù)的趨勢(shì)，3D視覺技術(shù)在移動(dòng)機(jī)器人上的應(yīng)用，拓展了移動(dòng)機(jī)器人的應(yīng)用領(lǐng)域，增強(qiáng)了移動(dòng)機(jī)器人的智力感和可靠性，也加速推動(dòng)了移動(dòng)機(jī)器人產(chǎn)業(yè)的發(fā)展。”
易福門方面也提到，近幾年，3D視覺技術(shù)的發(fā)展讓移動(dòng)機(jī)器人裝上眼睛，后期它對(duì)眼睛的需求會(huì)越來(lái)越大。
但整體來(lái)看，當(dāng)前3D視覺在移動(dòng)機(jī)器人領(lǐng)域的應(yīng)用尚在初期階段。未來(lái)，隨著移動(dòng)機(jī)器人不斷更新迭代，應(yīng)用環(huán)境的愈加多樣化，對(duì)3D視覺系統(tǒng)也將有著更為嚴(yán)苛的要求，這也將刺激3D視覺系統(tǒng)升級(jí)。
易福門相關(guān)負(fù)責(zé)人表示，隨著移動(dòng)機(jī)器人的不斷發(fā)展，對(duì)于3D相機(jī)的需求也將不斷提升，如更高的分辨率，更快的幀率，更好的環(huán)境適應(yīng)性等，這些都是未來(lái)發(fā)展的方向，“我們需要根據(jù)機(jī)器人廠商的需要，去提供更適配的產(chǎn)品。”
藍(lán)芯科技預(yù)測(cè)，“未來(lái)，視覺感知系統(tǒng)一定是往信息更加稠密、以及多樣化角度進(jìn)行融合，因?yàn)橹挥欣诵畔⒘?，后端才能談智能化、柔性化，才能做分析，才能更安全更穩(wěn)定。感知系統(tǒng)一定是一個(gè)從前到后的過(guò)程，先有足夠信息捕獲量，再談信息處理，我們從過(guò)往的項(xiàng)目經(jīng)驗(yàn)中得到了很深的體會(huì)。從這個(gè)維度來(lái)看趨勢(shì)，感知的顆粒度只會(huì)不斷細(xì)化。”
3D視覺主要技術(shù)路徑
3D傳感器作為3D視覺的眼睛，通過(guò)多個(gè)攝像頭與深度傳感器的組合能夠獲得物體三維位置及尺寸等數(shù)據(jù)，實(shí)現(xiàn)三維信息采集。目前3D視覺傳感器主要有雙目相機(jī)、結(jié)構(gòu)光相機(jī)及TOF（Time of flight）相機(jī)。
·TOF工作原理：采用紅外光源發(fā)射高頻光脈沖到物體上，然后接收從物體反射回去的光脈沖，通過(guò)探測(cè)光脈沖的飛行（往返）時(shí)間來(lái)計(jì)算被測(cè)物體離相機(jī)的距離。TOF目前市場(chǎng)上有兩種主流方案 dTof和iTof。行業(yè)人士認(rèn)為，未來(lái)，dtof會(huì)逐漸取代itof方案，因?yàn)閐tof在很多關(guān)鍵性能方面對(duì)于itof都有絕對(duì)優(yōu)勢(shì)，如分辨率，精度對(duì)距離感知不明顯，超低功耗，抗干擾能力強(qiáng)，標(biāo)定方式簡(jiǎn)單。但其技術(shù)壁壘較高，系統(tǒng)集成度高，供應(yīng)鏈資源少。
·雙目立體視覺技術(shù)原理：通過(guò)從兩個(gè)視點(diǎn)觀察同一物體，從而來(lái)獲得同一物體在不同視角下的圖像。通過(guò)三角測(cè)量原理來(lái)計(jì)算圖像像素間的位置偏差（視差）來(lái)獲取物體的三維圖像，過(guò)程跟人類眼睛的工作原理相似。在雙目立體視覺系統(tǒng)的硬件結(jié)構(gòu)中，通常采用兩個(gè)攝像機(jī)作為視覺信號(hào)的采集設(shè)備，通過(guò)雙輸入通道圖像采集卡與計(jì)算機(jī)連接，把攝像機(jī)采集到的模擬信號(hào)經(jīng)過(guò)采樣、濾波、強(qiáng)化、模數(shù)轉(zhuǎn)換，最終向計(jì)算機(jī)提供圖像數(shù)據(jù)。
圖表：3D視覺不同技術(shù)路線優(yōu)缺點(diǎn)對(duì)比
3D視覺在移動(dòng)機(jī)器人領(lǐng)域的應(yīng)用
藍(lán)芯科技視覺SLAM叉車
·避障
市面上避障傳感器種類繁多，如：?jiǎn)尉€激光雷達(dá)、超聲波、碰撞條等。碰撞條通常作為最后一道暴力防撞措施；超聲波避障經(jīng)常出現(xiàn)誤判；單線激光雷達(dá)存在較大盲區(qū)（只掃描二維平面內(nèi)的障礙物，低于或高于激光的障礙物無(wú)法檢測(cè)，存在較大安全隱患）；3D視覺傳感器可彌補(bǔ)激光這一缺陷。目前移動(dòng)機(jī)器人最佳避障方案應(yīng)是3D視覺傳感器＋激光雷達(dá)，——3D視覺傳感器作為中短距離精確避障，激光雷達(dá)作為遠(yuǎn)距離二維避障。因?yàn)門OF基本不存在盲區(qū)，所以目前用于AGV避障的3D視覺相機(jī)基本是TOF型的。
圖漾科技3D TOF 智能工業(yè)相機(jī)TL460-S1-E1
一些倉(cāng)庫(kù)貨物放置環(huán)境復(fù)雜，人工/貨車放置托盤的位置不夠精確，導(dǎo)致無(wú)人叉車依靠傳統(tǒng)的機(jī)械限位或者單目相機(jī)識(shí)別的方式無(wú)法準(zhǔn)確識(shí)別托盤，常常出現(xiàn)無(wú)人叉車對(duì)接托盤位置偏移角度較大，進(jìn)而導(dǎo)致進(jìn)叉失敗，叉車工作效率低下。
依靠3D 視覺進(jìn)行托盤圖像采集，結(jié)合相應(yīng)圖像處理算法對(duì)叉車貨物托盤進(jìn)行識(shí)別，并得到其位置與姿態(tài)坐標(biāo)，智能調(diào)整進(jìn)叉方向從而實(shí)現(xiàn)無(wú)人化智能托盤搬運(yùn)，解決無(wú)人叉車對(duì)接托盤位置偏移角度較大的問(wèn)題。同時(shí)，結(jié)合人工智能算法對(duì)托盤識(shí)別模型進(jìn)行強(qiáng)化訓(xùn)練和深度學(xué)習(xí)，可以進(jìn)一步提升其識(shí)別叉車貨物托盤與跟蹤的準(zhǔn)確性。
易福門3D ToF相機(jī)用于無(wú)人叉車棧板定位應(yīng)用
近幾年，伴隨著移動(dòng)機(jī)器人對(duì)3D視覺技術(shù)需求的上升，針對(duì)不同應(yīng)用的不同需求，為了更好的適應(yīng)場(chǎng)景，3D視覺廠商門也針對(duì)性的推出了相應(yīng)產(chǎn)品。
作為工業(yè)自動(dòng)化領(lǐng)域電子傳感器的領(lǐng)先制造商之一。易福門3D ToF相機(jī)自2017年開始在移動(dòng)機(jī)器人行業(yè)逐漸滲透，隨后不斷深入，目前已與國(guó)內(nèi)眾多移動(dòng)機(jī)器人廠商達(dá)成合作，被廣泛應(yīng)用于各大國(guó)內(nèi)外機(jī)器人公司的AMR上，包括各種無(wú)人叉車，各種潛伏式、重載式AGV等。不論是室內(nèi)還是室外用，避障導(dǎo)航還是末端識(shí)別對(duì)接，易福門都可提供非常完善的3D感知方案。
易福門3D ToF相機(jī)
圖漾科技是全球領(lǐng)先的3D機(jī)器視覺供應(yīng)商，為工業(yè)和行業(yè)應(yīng)用提供高性價(jià)比的3D工業(yè)相機(jī)和配套軟件方案。圖漾科技基于創(chuàng)新并擁有核心專利的3D視覺技術(shù)，基于雙目散斑靜態(tài)結(jié)構(gòu)光和TOF技術(shù)平臺(tái)，現(xiàn)已推出FM/FS、FM-IX、PM/PS、TM/TL等四個(gè)產(chǎn)品系列、共30多個(gè)產(chǎn)品型號(hào)的量產(chǎn)產(chǎn)品矩陣，在移動(dòng)機(jī)器人領(lǐng)域，圖漾主要提供3D ToF工業(yè)相機(jī)TM461-E2、TL460-S1-E1(內(nèi)置AI邊緣算力)等產(chǎn)品。
而除了傳感器廠商外，自主開發(fā)視覺傳感器的移動(dòng)機(jī)器人廠商，通過(guò)實(shí)際應(yīng)用不斷打磨迭代產(chǎn)品，也開始將其視覺傳感器推向市場(chǎng)，如藍(lán)芯科技。2022年，藍(lán)芯科技開始將視覺產(chǎn)品部分獨(dú)立出來(lái)支持和賦能部分移動(dòng)機(jī)器人公司。
圖表：部分3D視覺企業(yè)面向不同場(chǎng)景應(yīng)用的視覺傳感器產(chǎn)品
藍(lán)芯科技視覺傳感器Eagle-S1
圖漾科技3D TOF 智能工業(yè)相機(jī)TM461-E2
易福門方面也提到，近幾年，3D視覺技術(shù)的發(fā)展讓移動(dòng)機(jī)器人裝上眼睛，后期它對(duì)眼睛的需求會(huì)越來(lái)越大。
