在基于人工智能的嵌入式系統中，攝像頭模塊是最不可或缺的部分。市場上有眾多的相機模塊可供選擇，這可能會讓選擇過程變得困難。這篇文章將幫助你理解如何為嵌入式應用程序做出正確的選擇，包括 NVIDIA Jetson。
攝像機選擇注意事項
相機模塊的選擇涉及三個關鍵方面：傳感器、接口（連接器）和光學。
傳感器
兩種主要類型的電子圖像傳感器是電荷耦合器件（CCD）和有源像素傳感器（CMOS）。對于 CCD 傳感器，像素值只能按行讀取。每一行像素被一個接一個地移位到讀出寄存器中。對于 CMOS 傳感器，每個像素可以單獨讀取并并行讀取。
在大多數情況下，CMOS 在不犧牲圖像質量的情況下成本較低并且消耗較少的能量。由于像素值的并行讀出，它還可以實現更高的幀速率。然而，在某些特定情況下，CCD 傳感器仍然占主導地位——例如，當需要長時間曝光和需要非常低噪聲的圖像時，例如在天文學中。
電子快門
電子快門有兩種選擇：全局快門或滾動快門。全局快門使每個像素同時暴露在入射光下。滾動快門按特定順序（例如，從上到下）暴露像素行，并可能導致失真（圖 1）。
全局快門不受對象移動引起的運動模糊和失真的影響。使用全局快門同步多臺相機要容易得多，因為曝光開始時只有一個時間點。然而，帶全局快門的傳感器比帶滾動快門的傳感器貴得多。
彩色或單色
在大多數情況下，單色圖像傳感器足以用于典型的機器視覺任務，如故障檢測、存在監測和記錄測量。
對于單色傳感器，每個像素通常由八位來描述。對于顏色傳感器，每個像素有 8 位用于紅色通道，8 位用于綠色通道，以及 8 位用于藍色通道。顏色傳感器需要處理三倍于數據量的數據，從而導致更高的處理時間，從而導致較慢的幀速率。
動態范圍
動態范圍是傳感器獲取的最大和最小信號之間的比率。在上限處，像素對于較高的強度值（飽和度）顯示為白色，而像素在下限及以下顯示為黑色。室內應用需要至少 80db 的 HDR ，室外應用需要高達 140db。
決議
分辨率是傳感器再現物體細節的能力。它可能受到所使用的照明類型、傳感器像素大小和光學器件性能等因素的影響。對象細節越小，所需的分辨率就越高。
像素分辨率轉化為圖像上每個像素等于多少毫米。分辨率越高，圖像就越清晰。相機或傳感器的分辨率應該能夠覆蓋至少兩個像素的功能區域。
具有高分辨率的 CMOS 傳感器往往具有低幀速率。雖然傳感器可以達到你需要的分辨率，但如果沒有達到每秒足夠的幀數，它就無法捕捉到你需要的高質量圖像。評估傳感器的速度非常重要。
下面和圖 2 中顯示了確定用例所需解決方案的一般經驗法則。?乘法器（2）表示為了成功地檢測對象而在對象上具有最小兩個像素的典型期望。
例如，假設你有一個拳擊手眼睛周圍受傷的圖像。
- FOV，mm=2000mm
- 感興趣特征（眼睛）的大小，mm=4mm
根據計算，1000 x 1000，一臺 100 萬像素的相機應該足以使用 CV 或 AI 算法檢測眼睛。
請注意，傳感器由多行像素組成。這些像素也被稱為 photosites。像素收集的光子數量與像素的大小成正比。選擇更大的像素可能看起來很誘人，但可能不是所有情況下的最佳選擇。
| 小像素 | 對噪音敏感（-） | 相同傳感器尺寸的空間分辨率更高（+） |
| 大像素 | 對噪音不太敏感（+） | 相同傳感器尺寸的空間分辨率較低（-） |
背光傳感器使每個光電二極管捕獲和轉換的光量最大化。在前照式傳感器中，光電二極管上方的金屬布線阻擋了一些光子，從而減少了捕獲的光量。
幀速率和快門速度
幀速率?是指每秒幀數（FPS）。幀速率應根據每秒所需的檢查次數來確定。這與快門速度（或曝光時間）相關，快門速度是相機傳感器被曝光以捕捉圖像的時間。
理論上，最大幀速率等于曝光時間的倒數。但是，由于幀讀出、傳感器分辨率和接口（包括布線）的數據傳輸速率引入的延遲，可實現的 FPS 較低。
可以通過添加額外的照明、像素裝倉來減少對大曝光時間的需求，從而提高 FPS。
CMOS 傳感器可以實現更高的 FPS，因為讀取每個像素的過程可以比 CCD 傳感器的移位寄存器中的電荷轉移更快地完成。
界面
有多種方法可以將相機模塊連接到嵌入式系統。通常，出于評估目的，使用帶有 USB 和以太網接口的相機，因為不需要自定義驅動程序開發。
接口選擇的其他重要參數包括傳輸長度、數據速率和操作條件。表 2 列出了最流行的界面。每個選項都有其 p ROS 和缺點。
| 功能 | USB 3.2 | 以太網（1 GbE） | MIPI CSI-2 | GMSL2 | FPDLINK III |
| 帶寬 | 10Gbps | 1Gbps | DPHY 2.5 Gbps/通道 CPHY 5.71 Gbps/通道 | 6Gbps | 4.2Gbps |
| 支持的電纜長度 | <5m | 高達 100 米 | <30cm | <15m | <15m |
| 即插即用 | 支持 | 支持 | 不支持 | 不支持 | 不支持 |
| 開發成本 | 低的 | 低的 | 中到高 | 中到高 | 中到高 |
| 操作環境 | 室內的 | 室內的 | 室內的 | 室內和室外 | 室內和室外 |
光學
光學透鏡的基本用途是收集物體散射的光，并在光敏圖像傳感器（CCD 或 CMOS）上重建物體的圖像。在選擇優化的鏡頭焦距、傳感器格式、視場、光圈、主光線角度、分辨率和失真時，應考慮以下因素。
透鏡是用有限數量的標準焦距制造的。常見的透鏡焦距包括 6mm、8mm、12.5mm、25mm 和 50mm。
一旦你選擇了焦距最接近成像系統所需焦距的鏡頭，你就需要調整工作距離，使被檢查物體對焦。短焦距（小于 12mm）的透鏡產生的圖像失真很大。
如果您的應用程序對圖像失真敏感，請嘗試增加工作距離，并使用焦距更高的鏡頭。如果你不能改變工作距離，你在選擇優化的鏡頭時會受到一些限制。
| ? | 廣角鏡頭 | 普通透鏡 | 長焦鏡頭 |
| 焦距 | <=35mm | 50mm | >=70mm |
| 用例 | 附近的場景 | 與人眼相同 | 遙遠的場景 |
將鏡頭連接到相機需要某種類型的安裝系統。必須定義機械穩定性（松動的鏡頭會產生失焦圖像）和到傳感器的距離。
為了確保不同鏡頭和相機之間的兼容性，定義了以下標準鏡頭支架。
| ? | 最受歡迎 | 用于工業應用 |
| 鏡頭支架 | M12/S 支架 | 接口 |
| 法蘭焦距 | 非標準的 | 17.526 毫米 |
| 螺紋（每毫米） | 0.5 | 0.75 |
| 容納的傳感器尺寸（英寸） | 高達? | 最多 1 |
NVIDIA 相機模塊合作伙伴
NVIDIA 與世界各地的競爭力強大的相機模塊制造商保持著豐富的合作生態系統。查看 Jetson Partner Supported Cameras 的詳細信息。這些合作伙伴可以幫助您為應用程序設計從概念到生產的成像系統 NVIDIA Jetson。
總結
這篇文章解釋了在為嵌入式應用程序選擇相機時要考慮的最重要的相機特性。盡管選擇過程可能看起來令人生畏，但第一步是了解基于設計、性能、環境和成本的關鍵約束。
一旦您了解了這些約束，那么就要關注與您的用例最相關的特性。例如，如果相機將部署在遠離計算機或崎嶇不平的環境中，請考慮使用 GMSL 接口。如果相機將在弱光條件下使用，請考慮使用像素和傳感器尺寸更大的相機模塊。如果相機將用于運動應用程序，請考慮使用帶有全局快門的相機。
要了解更多信息，請觀看 Optimize Your Edge Application: Unveiling the Right Combination of Jetson Processors and Cameras 有關 AI 性能的詳細規格， GPU 、 CPU ，以及 Xavier 和基于 Orin 的 Jetson 模塊的更多信息，請訪問 Jetson Modules。
?
