時機是一切，尤其是當它影響到客戶體驗、底線和生產效率時。 Edge AI 可以通過在間歇性、低帶寬和低成本環境中提供實時智能和增強隱私來提供幫助。
根據 Gartner ?的數據，到 2025 年， 75% 的數據將在傳統數據中心或云之外的邊緣創建和處理。1.難怪成千上萬的公司正在轉向邊緣人工智能來推動其業務轉型。
隨著組織經歷這一轉變，許多 IT 和業務領導者仍處于規劃和執行邊緣計算戰略的早期階段。因為邊緣人工智能是一個新概念，這個過程對很多人來說都很困難。
NVIDIA 是一家領先的人工智能基礎設施公司，擁有豐富的經驗，幫助組織、客戶和合作伙伴成功部署邊緣人工智能解決方案，對這些新概念并不陌生。
為了幫助他人， An IT Manager’s Guide: How to Successfully Deploy an Edge AI Solution 中介紹了這些經驗的學習和建議。白皮書深入探討了構建和執行成功的邊緣 AI 部署。
這篇文章介紹了配置邊緣系統時一些關鍵注意事項的建議。
邊緣系統配置：設計建議
確定系統大小時需要考慮許多參數。最佳 PCIe 服務器配置將取決于該服務器的目標工作負載。
邊緣人工智能模型將各種工作負載納入其應用程序，如視覺人工智能、自然語言處理、基于工業傳感器的建議和預測分析。
邊緣計算大小調整注意事項
當涉及到在邊緣設計完整的硬件和軟件解決方案時，重要的是將解決方案作為一個整體來看待，以了解各個部分是如何協同工作的。 IT 部門必須評估邊緣 AI 部署的一些個人考慮事項如下所述。
流數量?：每個攝像機饋送都是一個流，需要一定量的內存和計算進行處理。 6-7 個視頻處理流的小配置需要相對較小的系統。更大的部署可能需要通常在數據中心看到的高性能系統。
應用實例?：成功部署邊緣人工智能的第一步是了解需要運行哪些工作負載才能實現目標。視覺 AI 應用，如圖像識別、人或車輛檢測和分割，都是常見的用例。
一旦確定了應用程序，就必須了解預期規模。例如，是否需要額外的人工智能模型？通常，概念驗證（ POC ）將由單個 AI 模型和用例組成，但大多數生產部署最終都包含多個 AI 模型。接下來的步驟包括量化應用程序的業務價值、規定任何環境約束以及確保利益相關者的一致性。
內存?：邊緣 AI 解決方案資源不足的最常見方法可能是配置內存太少的邊緣系統。邊緣 AI 系統需要比其他應用程序多得多的內存來支持 CPU 和 GPU 之間的推理機并行執行。
培訓 AI 的數據科學團隊或應用程序供應商將了解最新模型的內存需求。 IT 團隊至少應該將這個數字增加一倍，以適應模型在重新培訓時不可避免的擴展。這也將為需要與第一個模型一起部署的其他人工智能模型提供一些余量。
另一個經驗法則是提供兩倍于總 GPU 內存的系統內存，并且永遠不低于總 GPU 內存的 1.5 倍。內存應均勻分布在所有 CPU 插槽和內存通道上，以獲得最佳性能。
網絡?：隨著運營越來越依賴邊緣計算等數字技術，彈性是關鍵。在設計邊緣解決方案時，需要考慮兩個網絡：邊緣 AI 位置和云之間的網絡，以及傳感器和邊緣 AI 系統之間的網絡。
了解環境的網絡連接類型將有助于確定用例的特定網絡帶寬需求。例如，對于機器人這類不可能實現無線連接的用例， 5G 是下一個最佳選擇，因為它提供了最小的擁塞和有保障的服務和帶寬。
加速器?：大多數邊緣應用程序都可以在單插槽 x86 或 Arm CPU 上運行。但當邊緣應用程序結合了人工智能功能時，它們的計算密集度要高得多。
為了在邊緣運行推理機，邊緣硬件需要足夠的計算能力來執行具有大規模并行計算的復雜神經網絡。 CPU 順序執行神經網絡的所有獨立單元，而謹慎加速器可以并行執行它們。因此，加速器在架構上適合于 AI ，從而提供更好的性能。它們已經成為現代人工智能基礎設施的重要組成部分。
邊緣 AI 最有效的離散加速器是 GPU 和 DPU 。
儲存?：當然，邊緣服務器需要本地存儲，通常是固態硬盤，用于其操作系統、網絡組件、硬件驅動程序和應用程序軟件。與其他應用程序不同，邊緣 AI 解決方案通常處理大量非結構化輸入數據，如圖像、語音和傳感器讀數。根據需要存儲的數據量、存儲時間、安全性和可靠性級別，需要不同的存儲選項。
確定邊緣 AI 解決方案所需存儲的第一步需要 IT 團隊考慮數據策略。數據策略將決定需要在本地或云中存儲哪些數據以及存儲多少數據。反過來，這將指導哪些存儲選項最適合該特定解決方案。如果沒有一個積極主動的策略，開發人員通常會做出不一致和次優的選擇，從而在未來的道路上產生問題。
安全性?：邊緣 AI 計算設備的安全性至關重要，因為它們部署在數據中心防火墻和限制系統訪問的物理保護之外的遠程位置。有關詳細信息，請參見 Edge Computing: Considerations for Security Architects 。
當談到邊緣 AI 解決方案時，應了解五個領域，并將其作為整體解決方案架構的一部分：端到端加密、相互認證、物理安全、零信任網絡和實時監控。
管理：遠程管理計劃對于邊緣環境至關重要，因為邊緣的系統是分布式的，始終處于打開狀態，并且通常在遠程設置下運行。請參見 Remotely Operating Systems and Applications at the Edge 了解更多信息。
邊緣管理解決方案將具有自動部署和資源調配功能、持續管理、實時警報和審計。它還將使用現代的云原生工具。
組織可以選擇是構建還是購買管理解決方案。以下是需要考慮的問題：需要多快建立解決方案？是否有合適的團隊和專業知識？該解決方案是否提供了邊緣環境的安全管理？
成功邊緣部署的支柱
部署支持可擴展邊緣 AI 解決方案所需的基礎設施是一個巨大的挑戰。這個過程是反復的，耗時的，但正確地完成是至關重要的。在構建邊緣人工智能解決方案時所做的決策具有深遠的影響，將影響組織的業務成果。
有關此主題的更多指導，請下載 An IT Manager’s Guide: How to Successfully Deploy an Edge AI Solution 。
工具書類
1.Gartner ，“構建邊緣計算戰略”， G007539201992 年 9 月， 2021 。 Gartner 是 Gartner 公司和/或其附屬公司在美國和國際上的注冊商標和服務商標，經許可在此使用。保留所有權利。
?
