關於 global shutter rolling shutter ，我們在網路上蒐集到這些相關的討論、資訊與評價

#物聯網IoT #汽車電子 #先進駕駛輔助系統ADAS #機器視覺 #3D影像感測器 #主動立體視覺ASV #結構光SL #飛時測距ToF #光達LiDAR

【3D 感測新勢力：ASV vs. ToF】

隨著技術成熟、元件成本下降，3D 感測在機器視覺的應用越見蓬勃，商用價值正在勁揚，主動立體視覺 (ASV)、結構光 (SL) 與飛時測距 (ToF) 是三大分支。現階段結構光因有消費電子加持、出貨量最大，工業應用則以立體視覺為主——但預估不久後，外加一個投射器的 ASV 料將全面躍起；即使是全自動化的「關燈工廠」，確認打件位置仍少不了 ASV 的輔助。

ToF 則可視為長距離的結構光 (雖然解析度遠不如正統結構光)，成長力道亦正增強。以前影像拍攝只在乎單點距離，如今講究的是「多區域」(Multi-Zone)、對比多層，意境已大不相同；即使是場景變動不大、毋需深度補償的工業應用，日後亦將逐漸加入深度資訊，有助於拉大可視距離。3D 感測另一個應用是模具製作，一分鐘就能完成掃描建模。動輒須＞ 200 公尺的汽車應用，ToF 更是基本元素。

早先缺乏深度資訊時，需要根據不同場景做補償才能辨識；直到加入「紅外線投光器」元件的 ASV 出現，終於有解！ASV 不受環境光限制，判讀更精確，商用較一般消費產品擁有更強的需求。原有立體視覺也能查看，但前提是物件本身要夠立體、且環境不能太暗才能清楚分辨，就像平放於桌面的紙張，除非有翹曲或色調區隔明顯，否則機器不易判別。

機器視覺的另一個挑戰是：看很多物件時，是否能辨識出細微差異？提高鏡頭的解析度是手段之一，但這會消耗更多演算和儲存資源，負載重。對企業來說，重要的是如何在效益、成本、應用場景之間取得平衡，最高規者不一定最好、也未必會成為主流。在彩色影像如此盛行的今天，安防監控之所以仍堅持採用黑白 CCD 攝影機，就是著眼於「影像補償」。

至於 CCD vs. CMOS 鏡頭何者較佳？成像技術該採用捲簾快門 (Rolling Shutter) 或全域快門 (Global Shutter)？另放眼未來，3D 感測在汽車的應用備受期待……，「固態光達」因沒有移動的光束轉向機制，無論在可靠度和複雜性皆略勝一籌。惟汽車售價區間大、成本結構亦不同，很多技術彼此非單純競爭、而是競合狀態，一如短、中、長距的無線通訊技術互補。

延伸閱讀：
《3D 機器視覺，商用價值勁揚》
http://compotechasia.com/a/feature/2020/0910/45715.html

#艾邁斯半導體ams #BELICE-SD #ibeoNext #TMF8801

#物聯網IoT #機器視覺 #人工智慧AI #微控制器MCU #軟體開發套件SDK #Glow編譯器 #影像感測器 #擴增實境AR #虛擬實境VR

【機器視覺的感知＆處理】

今年以來，肺炎疫情重傷不少產業，卻意外讓某些科技應用成為受惠者，機器視覺 (Machine Vision) 便是其一。研調機構預測，2025 年約有 98% 的邊緣裝置都將使用某種形式的機器學習 (ML)／人工智慧 (AI)，這意味著：消費型裝置製造商和嵌入式物聯網 (IoT) 開發者需將機器學習框架最佳化，以便在微控制器 (MCU) 實現低功耗的邊緣嵌入式應用。

於是，有晶片廠推出業界首款用於 MCU 的 Glow 神經網路編譯器 (Neural Network Compiler)，並已整合到自家機器學習軟體開發環境；如此一來，更容易與特定目標整合、省卻即時編譯程序、生成高度最佳化代碼，進而提升硬體平台的神經網路效能。除了智能相機，進一步內嵌整合圖像處理器 (Integrated Graphic
Processor, IGP) 的「智能視覺感測器」正引起關注。

基本上，畫素越高的智慧影像感測器，需要更大的數據量、更強的運算單元，功耗和儲存空間也會相應增加，AI 機器視覺需加以綜合考量。另一方面，當使用傳統 CMOS 影像感測器拍攝視訊時，必須發送每個單獨數據幀予 AI 單元處理，導致數據傳輸量增加且難以即時處理；所以，AI 機器視覺須因時空制宜。此外，攝影模式也是關鍵，特別是移動中或需要近紅外線照明的場景時。

相較於依序逐步擷取畫素數據、須經校正的「捲簾快門」(Rolling Shutter)，同時保存每格畫面所有畫素資料的「全域快門」(Global Shutter) 是拍攝無失真影像的首選模式，適合擴增實境／虛擬實境 (AR/VR)、同時定位和地圖建置 (SLAM) 及 3D 掃描。雖然邊緣設備的就地處理能力日漸茁壯，但礙於有限運算和儲存資源，現階段仍多以推論或類似「學前教育」的預處理為主。

巨量資料的訓練，還是偏好在雲端進行。為此，催生一種新的商業模式：導將收集到的感測器數據送到雲端 ML 模型訓練、予以簡化後，再回頭部署至 Arm Cortex-M 之感測器、智能插座／燈泡或穿戴裝置等嵌入式設備，將精簡過的「輕量版」模型導入各大MCU 硬體平台，已與 Arduino、ST、Eta Compute 簽署協議；付費用戶還可使用雲端追蹤和共享功能，進一步針對特定用例調整模型。

延伸閱讀：
《機器學習進駐邊緣，Embedded Vision 亮起來》
http://compotechasia.com/a/feature/2020/0910/45716.html

#恩智浦NXP #eIQ #MCUXpresso #安森美半導體ON #AR1335 #意法半導體ST #VD56G3 #EdgeImpulse #工研院機械所