Multiple Dimensional Spatial Perception
- Course Sorts:Talent Cultivation Project for Unmanned Vehicle / second
- Course Introduction:
二維光達所建構的地圖是建立在在某個高度的平面上(取決於感測器與地面的距離)所觀測的場景,地圖通常以機率網格的形式呈現,目前常用的演算法Hector 、Gmapping以及Cartographer。
(2) 三維光達建圖:
三維光達所建構的地圖通常以點雲的方式呈現,每個觀測到的點都具有三維座標以及反射強度資訊,常用的三維光達建圖方法像是NDT 以及LIO-SAM 。
(3) 單眼視覺建圖:
視覺方面的建圖方法,單眼視覺建圖是使用一個相機鏡頭進行建圖,其感測器結構簡單、成本低。影像是在相機的成像平面上的投影。以二维的形式表達三维的真實世界。因此過程中少了一個維度,即深度或距離。在單眼相機中,無法透過單張圖片計算環境中物體與我們的距離,深度資訊在視覺建圖上是關鍵的信息,如果把相機的運動和場景大小同時縮放任何倍數,在單眼相機上所看到的景像是一樣的。因此單眼相機運動的軌跡和建構出來的地圖與真實運動個軌跡和場景相差一個因子,即尺度(Scale)。因為在單眼視覺上無法僅依據影像確定這個真實尺度,所以又稱為尺度。
(4) 單眼視覺融合IMU建圖:
在目前自駕車感知應用上,通常不會僅依靠單一個感測器來完成所有任務,本章節介紹簡單的單眼相機與IMU融合進行建圖的做法,藉由慣性感測器量測出相機本身的角速度和加速度,對於相機在短時間內快速移動時估計位資是有幫助的,可以保持一個較好的位姿估計,從而提升建圖的準確度。
(5) 雙眼視覺建圖:
雙眼相機的目的,在於透過某種方法來量測物體與我們之間的距離,克服單眼相機無法知道距離的缺陷。如果知道距離,場景的三維結構就可以透過影像來進行建圖,因而消除了尺度的不確定性。雙眼相機由兩個單眼相機組成,兩個相機之間的距離稱為基線(Baseline)為已知。透過基線估計每個像素點的空間位置,近似於人眼。雙眼相機需要大量的計算才能估計每個像素點的深度。
(6) 單眼深度建圖:
深度相機又稱為RGB-D相機,其特點為透過紅外線結構光或Time-of-Flight(ToF)原理,主動向物體發射出光並接收打到物體後反射的光,測量出物體與相機之間的距離。目前多數深度相機還存在測量範圍窄、雜訊大、視野小、易受日光干擾、無法量測透射材質等問題,通常用於室內場景,室外應用困難。