結構光三維掃描儀
結構光三維掃描儀（英語：structured-light 3D scanner）是一種3D掃描設備，用於使用投射的光圖案和攝像頭系統測量物體的三維形狀。[1]
原理
編輯將窄帶的光投影到三維形狀的表面上會產生一條照明線，該照明線從投影器的其他角度來看存在一定的變形，這種變形可用於表面形狀（光覆蓋的部分）的幾何重建。
更快更通用的方法是一次投影由多個條紋或任意條紋組成的圖案，因為這樣可以同時採集多個樣本。 從不同的角度觀察，由於物體的表面形狀，圖案呈現出幾何變形。
儘管結構化光投影可能存在很多變體，但是使用最廣泛的是平行條紋的圖案。圖片顯示了投影到簡單3D曲面上的單個條紋的幾何變形。 通過條紋的位移可以對物體表面的任何細節的三維坐標進行精確跟蹤。
圖案生成
編輯
比較知名的製作條紋圖案的方法有兩種：雷射干涉法和投影法。
雷射干涉法基於兩個寬的平面雷射束前端。它們的干涉可以產生規則等距的線圖案。通過改變這些光束之間的角度可以獲得不同的圖案尺寸。該方法易於精確的生成具有無限景深的精細圖案。缺點是成本高，難以提供理想的光束幾何形狀以及典型的雷射效果，例如斑點噪聲以及部分光束從物體的反射帶來的自干擾。通常無法調製獨特的條紋，比如格雷碼。
投影法使用不相干的光，並且基本上像視頻投影儀一樣工作。 使光線通過數位化的空間光調製器來生成圖案，通常基於三種當前最廣泛使用的數字投影技術之一：透射液晶，矽上反射液晶（LCOS）或數字光處理（DLP；移動微鏡）調製器，各有優劣勢。同時也存在其他投影方法。
由於顯示器中的像素邊界，數字顯示投影儀產生的圖案具有較小的不連續性，但由於輕微的散焦使邊界差異變得比較均勻，從而可以忽略這種不連續性。
典型的測量組件由一台投影儀和至少一台攝像機組成，在很多應用中，在投影器兩側各安裝一個相機是比較常見的結構設計。
不可見（或無法察覺）的結構化燈光使用時不會干擾其他計算機視覺任務的結構化燈光，而不可見的投影圖案會讓使用者對其原理感到比較困惑。比如使用紅外光或具有極高幀頻的兩個正好相反的圖案交替使用。[2]
標定
編輯
必須通過使用特殊的校準圖案和表面對測量設備進行校準，以補償光學器件和視角造成的幾何變形。數學模型用於描述投影儀和照相機的成像特性。從本質上講，該模型基於針孔相機的簡單幾何特性，還必須考慮到投影儀和相機鏡頭的幾何畸變和光學像差。相機的參數及其在空間中的位置姿態可以使用攝影測量光束法平差通過一系列校準測量來確定。
條紋圖案分析
編輯在觀察到的條紋圖案中包含若干深度信息。任何單個條紋的位移都可以直接轉換為3D坐標。因此必須識別單個條帶。例如可以通過跟蹤或計數條帶（圖案識別方法）來實現。另一種常見的方法是投影交替的條紋圖案，從而產生二進制格雷碼序列，該序列標識出擊中對象的每個單獨條紋的數量。重要的深度信息也來自沿著物體表面的不同條紋寬度。條紋寬度是表面部分的陡度的函數，即高程的一階導數。條帶頻率和相位提供類似的深度信息，並且可以通過傅立葉變換進行分析。 基於同樣的目的近些年也在研究小波變換。
在很多實際應用中，採用將模式識別，格雷碼和傅立葉變換相結合的一系列測量手段，來實現三維形狀的完整且準確的重構。
另一種利用照相機景深的方法也屬於條紋投影區域。[3]
也可以將投影圖案用作結構插入場景中，以進行攝影測量。
精度和範圍
編輯條紋投影方法的光學解析度取決於所用條紋的寬度及其光學質量。它也受光波長的限制。
由於景深，相機解析度和顯示解析度的限制，條紋寬度的無限制減小沒有太大意義。 因此，相移方法被廣泛使用：用稍微偏移的條紋進行至少3次曝光，通常約10次曝光。 該方法的第一個理論推論依賴於具有正弦波形強度調製的條紋，但是該方法也適用於「矩形」調製條紋，如LCD或DLP顯示器所提供的。通過相移，可以達到1/10條紋間距級別的細節。
因此，當前的光學條紋圖案輪廓測定法可以實現低至光波長的細節解析度，實踐中小於1微米，對於較大的條紋圖案，則可以達到大約條紋寬度的1/10。 對圖像的幾個像素進行插值可以產生可靠的高程解析度，並且精度低至1/50像素。
可以使用大條紋圖案來測量大尺寸對象。 實際應用中有測量幾米到幾十米的物體的實踐。
典型的精度數字為：
- 2英尺（0.61m）寬的平面度，可以到10微米（0.00039英寸）。
- 馬達燃燒室的形狀達到2微米（7.9×10-5英寸）（高程），容積精度比容積計量好10倍。
- 2英寸（51毫米）大的物體，約1微米（3.9×10-5英寸）
- 葉片邊緣的半徑例如10微米（0.00039英寸），精度到±0.4 μm
定位
編輯由於該方法一次只能從一個角度測量形狀，因此必須從不同角度的不同測量中組合完整的3D形狀。這可以通過在對象表面粘貼定位標誌點並隨後通過匹配這些標誌點來組合各個視角的數據來實現。通過將物體安裝在電動轉盤或CNC定位設備上，該過程可以自動化。標誌點也可以應用在定位設備上，而不是對象本身。
收集的3D數據可用於恢復CAD數據（計算機輔助設計）、逆向工程；手工作品或雕塑、自然物體或人工製品的三維建模。
挑戰
編輯與所有光學方法一樣，反射或透明表面難度較大。反射會導致光線原理相機或直接反射到其光學元件中。在這兩種情況下，都可以超出攝像機的動態範圍。透明或半透明的表面也會造成很大的困難。在這些情況下，僅出於測量目的，用薄的不透明清漆塗覆表面是一種常見的做法。一種最新方法是通過在光源（例如，投影儀）和要掃描的對象之間插入一維漫射器來處理高反射和鏡面反射的對象。[4] 有的學者已經提出了替代性的光學技術來處理完全透明和鏡面物體。[5]
兩次反射和相互反射會導致條紋圖案被多餘的光線覆蓋，從而難以被準確的檢測識別。 因此，高反射的腔體和凹形物體很難處理。 由於次表面散射現象，也難以處理諸如皮膚，大理石，蠟，植物和人體組織之類的半透明材料。 最近，計算機視覺界已經在努力通過重新設計照明模式來處理這種光學上複雜的場景。[6] 這些方法已顯示出對傳統困難物體（例如高鏡面金屬凹度和半透明蠟燭）的3D掃描結果的希望。[7]
速度
編輯儘管在大多數結構光方法中必須為每張圖片拍攝幾種模式，但是高速結構光掃描可用於許多應用程式，例如：
- 在生產過程中對零件進行在線精密檢查。
- 衛生保健應用，例如實時測量人體形狀或人體皮膚的微觀結構。
基於運動圖像的應用也有被開發，例如用於三維電視的空間場景數據的獲取。
軟體
編輯參見
編輯參考文獻
編輯- ^ Borko Furht. Encyclopedia of Multimedia(2nd ed.). Springer. : 222 [2021-08-15]. ISBN 978-0-387-74724-8. （原始內容存檔於2021-08-15）.
- ^ Fofi, David; T. Sliwa; Y. Voisin. A Comparative Survey on Invisible Structured Light (PDF). SPIE Electronic Imaging — Machine Vision Applications in Industrial Inspection XII. San Jose, USA: 90–97. 2004.
- ^ Tiefenscannende Streifenprojektion (DSFP) mit 3D-Kalibrierung. University of Stuttgart (in German). [2021-08-15]. 原始內容存檔於2013-06-05.
- ^ Shree K; Nayar; Mohit Gupta. Diffuse Structured Light. Proc. IEEE International Conference on Computational Photography. 2012.
- ^ Eron Steger; Kiriakos N; Kutulakos. A Theory of Refractive and Specular 3D Shape by Light-Path Triangulation. Int. J. Computer Vision. [2021-08-15]. （原始內容存檔於2017-05-07）.
- ^ Mohit Gupta; Amit Agrawal; Ashok Veeraraghavan; Srinivasa G. Narasimhan. Measuring Shape in the Presence of Inter-reflections, Sub-surface Scattering and Defocus. CVPR. 2011.
- ^ Mohit Gupta; Shree K. Nayar. Micro Phase Shifting. CVPR. 2012 [2021-08-15]. （原始內容存檔於2022-04-19）.
- ^ Kyriakos Herakleous; Charalambos Poullis. 3DUNDERWORLD-SLS: An Open-Source Structured-Light Scanning System for Rapid Geometry Acquisitio. 2014.
- ^ Hesam H. DIY 3D scanner based on structured light and stereo vision in Python language.
- ^ J. Wilm; et al. SLStudio: Open-source framework for real-time structured light. 2014.
來源
編輯- Fechteler, P., Eisert, P., Rurainsky, J.: Fast and High Resolution 3D Face Scanning （頁面存檔備份，存於網際網路檔案館） Proc. of ICIP 2007
- Fechteler, P., Eisert, P.: Adaptive Color Classification for Structured Light Systems （頁面存檔備份，存於網際網路檔案館） Proc. of CVPR 2008
- Liu Kai, Wang Yongchang, Lau Daniel L., Hao Qi, Hassebrook Laurence G. Dual-frequency pattern scheme for high-speed 3-D shape measurement (PDF). Optics Express. 2010, 18 (5): 5229–5244. Bibcode:2010OExpr..18.5229L. PMID 20389536. doi:10.1364/oe.18.005229
. （原始內容 (PDF)存檔於2011-05-13）. - Kai Liu, Yongchang Wang, Daniel L. Lau, Qi Hao, Laurence G. Hassebrook: Gamma Model and its Analysis for Phase Measuring Profilometry （頁面存檔備份，存於網際網路檔案館）. J. Opt. Soc. Am. A, 27: 553–562, 2010
- Yongchang Wang, Kai Liu, Daniel L. Lau, Qi Hao, Laurence G. Hassebrook: Maximum SNR Pattern Strategy for Phase Shifting Methods in Structured Light Illumination （頁面存檔備份，存於網際網路檔案館）, J. Opt. Soc. Am. A, 27(9), pp. 1962–1971, 2010
- Peng T., Gupta S.K. Model and algorithms for point cloud construction using digital projection patterns (PDF). Journal of Computing and Information Science in Engineering. 2007, 7 (4): 372–381 [2021-08-17]. CiteSeerX 10.1.1.127.3674 . doi:10.1115/1.2798115. （原始內容 (PDF)存檔於2008-04-25）.
- Hof, C., Hopermann, H.: Comparison of Replica- and In Vivo-Measurement of the Microtopography of Human Skin （頁面存檔備份，存於網際網路檔案館） University of the Federal Armed Forces, Hamburg
- Frankowski, G., Chen, M., Huth, T.: Real-time 3D Shape Measurement with Digital Stripe Projection by Texas Instruments Micromirror Devices (DMD) （頁面存檔備份，存於網際網路檔案館） Proc. SPIE-Vol. 3958(2000), pp. 90–106
- Frankowski, G., Chen, M., Huth, T.: Optical Measurement of the 3D-Coordinates and the Combustion Chamber Volume of Engine Cylinder Heads （頁面存檔備份，存於網際網路檔案館） Proc. Of "Fringe 2001", pp. 593–598
- C. Je, S. W. Lee, and R.-H. Park Colour-Stripe Permutation Pattern for Rapid Structured-Light Range Imaging. Optics Communications, Volume 285, Issue 9, pp. 2320-2331, May 1, 2012.
- C. Je, S. W. Lee, and R.-H. Park. High-Contrast Color-Stripe Pattern for Rapid Structured-Light Range Imaging. Computer Vision – ECCV 2004, LNCS 3021, pp. 95–107, Springer-Verlag Berlin Heidelberg, May 10, 2004.
- Elena Stoykova, Jana Harizanova, Venteslav Sainov: Pattern Projection Profilometry for 3D Coordinates Measurement of Dynamic Scenes. In: Three Dimensional Television, Springer, 2008, ISBN 978-3-540-72531-2
- Song Zhang, Peisen Huang: High-resolution, Real-time 3-D Shape Measurement （頁面存檔備份，存於網際網路檔案館） (PhD Dissertation, Stony Brook Univ., 2005)
- Tao Peng: Algorithms and models for 3-D shape measurement using digital fringe projections (Ph.D. Dissertation, University of Maryland, USA. 2007)
- W. Wilke: Segmentierung und Approximation großer Punktwolken （頁面存檔備份，存於網際網路檔案館） (Dissertation Univ. Darmstadt, 2000)
- G. Wiora: Optische 3D-Messtechnik Präzise Gestaltvermessung mit einem erweiterten Streifenprojektionsverfahren （頁面存檔備份，存於網際網路檔案館） (Dissertation Univ. Heidelberg, 2001)
- Klaus Körner, Ulrich Droste: Tiefenscannende Streifenprojektion (DSFP) （頁面存檔備份，存於網際網路檔案館） University of Stuttgart (further English references on the site)
- R. Morano, C. Ozturk, R. Conn, S. Dubin, S. Zietz, J. Nissano, "Structured light using pseudorandom codes", IEEE Transactions on Pattern Analysis and Machine Intelligence 20 (3)(1998)322–327
延伸閱讀
編輯- Fringe 2005, The 5th International Workshop on Automatic Processing of Fringe Patterns Berlin: Springer, 2006. ISBN 3-540-26037-4 ISBN 978-3-540-26037-0