概念驗證（ POC ）是成功 部署 邊緣人工智能? 的第一步。
公司采用邊緣 AI 來提高效率、自動化工作流程、降低成本并改善整體客戶體驗。當他們這樣做時，許多人意識到在邊緣部署人工智能是一個新的過程，需要與傳統數據中心不同的工具和程序。
如果不清楚成功和失敗的邊緣人工智能解決方案的區別，組織往往會從 POC 流程開始，陷入常見的陷阱。
事實上， Gartner 詳細指出，到 2025 年，在沒有企業邊緣計算戰略的情況下部署的 50% 的邊緣計算解決方案將無法實現部署時間、功能或 成本?方面的目標。
作為領先的人工智能基礎設施公司， NVIDIA 幫助無數組織、客戶和合作伙伴成功構建了他們的邊緣人工智能 POC 。本文詳細介紹了常見的邊緣 AI POC 挑戰和解決方案。
開始之前
組織在開始該過程之前做出的第一個決定是決定是從人工智能軟件供應商那里購買解決方案，還是建立自己的解決方案。
通常，沒有內部人工智能專業知識的公司與軟件供應商合作。供應商深入了解最佳實踐，并可以提供指導，使 POC 流程盡可能精簡和經濟高效。
具有技術能力的公司可以以較低的成本構建定制解決方案。
定義從開發到生產的步驟
雖然開發和部署應用程序的過程可能因不同的組織而異，但大多數組織都遵循以下過程：
- AI 模型開發
- 親身體驗
- 概念證明
- 生產
AI 模型開發
您的數據需求取決于您是使用預訓練模型還是從頭開始構建。即使購買了人工智能應用程序，大多數模型仍必須根據環境中的標記數據進行重新訓練，以達到所需的精度。
一些數據源可能包括邊緣傳感器的原始數據、合成數據或眾包數據。預計數據收集是模型開發最耗時的任務，其次是優化訓練管道。
該階段的目的是證明項目的可行性和模型的準確性，而不是獲得生產水平的性能。這一階段正在進行，因為隨著新數據的收集，模型將不斷重新訓練。
親身體驗
組織對其 POC 的準備越充分，部署就越順利。我們強烈建議您在 POC 階段使用免費試用來測試不同的軟件選項。
例如， NVIDIA LaunchPad 等免費程序為測試和原型端到端解決方案工作流所需的所有硬件和軟件堆棧提供了精心策劃的體驗。結果是，可以在生產中部署相同的堆棧，從而實現更可靠的軟件和基礎架構決策。
在開始 POC 之前測試解決方案簡化了整個流程，并將進入無休止 POC 的常見陷阱降至最低。
概念證明
POC 是一個為期 1 至 3 個月的項目，其中定義了 IT 需求，購買了硬件，并使用公司數據對模型進行了培訓，并在公司的生產環境中部署到有限的地點。
與實際測試不同，這一步的關鍵是整合公司的數據，而不僅僅是測試標準軟件、硬件和通用數據。 POC 驗證過程的目標是驗證問題解決方案是否適合，以及解決方案是否能夠滿足業務需求。它作為解決方案完全縮放之前的最終測試。
生產
在生產中，人工智能模型被部署到每個預定位置，并完全發揮作用。預計將進行持續監測。
常見的挑戰是什么？
遵循這四個步驟可以最大限度地提高順利部署的機會。不幸的是，大多數企業陷入 POC 階段，因為他們沒有正確地確定項目范圍、理解需求、定義成功的衡量標準，或者沒有正確的工具和流程。
要充分利用 POC 計劃，請考慮一個解決方案，以應對企業在邊緣部署 AI 時面臨的以下常見挑戰：
- POC 設計不一致
- 手動管理邊緣環境
- POC 逐漸進入生產
POC 設計不一致
在準備 POC 項目時，首先設定期望值，然后對其進行調整。這些步驟應包括確定要解決的高價值用例、設定項目范圍、確定成功的衡量標準以及確保利益相關者的一致性。
高價值使用案例
確保你的問題陳述具有很高的價值，可以用人工智能解決。關鍵是要認識到哪些類型的問題可以交給人工智能，哪些問題可以通過管理變革或改進員工培訓來解決。
解決為您的組織提供高價值的問題有助于證明解決方案的有效性和實現擴展所需的資源和預算。選擇一個低價值的用例會導致項目在推出完整的解決方案之前失去焦點。
解決業務問題的高價值用例示例包括提高安全性、效率和客戶體驗，以及降低成本和浪費。
成功的衡量標準
POC 的目的是快速驗證解決方案，因此運行具有明確項目目標的重點 POC 非常重要。
如果沒有正確定義成功標準，組織通常會經歷“移動目標崗位”現象，他們會發現自己不斷調整和重新設計 POC ，以滿足不斷變化的目標。無休止的 POC 成本高昂且耗時。
最常見的成功衡量標準包括：
- Accuracy ：人工智能能解決這個問題嗎？通過測試模型是否能夠達到所需的精度來驗證。準確度是應該測試的第一個指標。如果無法達到模型精度，則應采用另一種解決方案。
- Latency ：解決方案是否為整個系統或流程增加了價值？用人工智能解決問題是不夠的，它必須提供價值。例如，如果生產線上的計算機視覺應用程序運行正常，但要求公司以 50% 的速度運行生產線，那么降低生產線速度的成本不值得使用人工智能。
- Efficiency ：解決方案是否具有成本效益？檢查解決方案的資本支出和運營支出是否比其他解決方案更有利。例如，如果網絡升級是邊緣 AI 模型有效的必要條件，那么僅僅雇傭人員在生產線上檢查產品是否更便宜？
在執行 POC 之前定義 POC 目標、范圍和成功標準是了解所選用例和解決方案是否能夠真正實現預期效益的最佳方式。
利益相關者對齊
POC 需要多元化的團隊。為了優化您的成功機會，盡早確定并與技術和業務專家接洽。
參與的利益相關者通常是企業主、人工智能開發人員、數據科學家、 IT 、 SecOps 團隊和人工智能軟件提供商。人工智能軟件提供商尤其重要，因為他們擁有知識、經驗和最佳實踐。在這個階段，確定每個利益相關者的責任，包括項目規模擴大后誰擁有項目。
手動管理邊緣環境
邊緣環境是獨特的，因為它們高度分散，部署在遠程位置，沒有經過培訓的 IT 人員，而且往往缺乏數據中心所擁有的物理安全性。
這些功能在部署、管理和升級邊緣系統時帶來了獨特的、經常被忽視的挑戰。每次需要升級或出現問題時， It 團隊都要在每個遠程邊緣站點手動解決問題，這是非常困難和耗時的。
不幸的是，現有的數據中心工具并不總是適用于邊緣 AI 環境。此外，由于 POC 部署在有限的地點，因此組織通常在這一階段忽略管理工具，選擇手動更新其模型。
POC 是一個高度迭代的過程，因此在此階段實施管理平臺可以幫助組織節省時間。對于尚未具備邊緣管理工具的客戶， NVIDIA Fleet Command 等交鑰匙解決方案可以幫助 POC 的推出以及向生產的過渡。
遠程管理
在設置、第 1 天和第 2 天操作開始后，組織必須部署和擴展新應用程序、更新現有應用程序、排除錯誤并驗證新配置。
擁有安全的遠程管理功能至關重要，因為生產部署包含您希望保持安全的重要數據和見解。
第三方訪問
組織應實施一個具有高級功能的管理解決方案，用于第三方訪問和安全功能，如實時（ JIT ）訪問、明確定義的訪問控制和定時會話。
軟件供應商、系統集成商和硬件合作伙伴只是需要訪問您的系統的少數不同方。再加上遠程管理功能，第三方可以幫助您更新 POC 環境，而無需物理訪問您的邊緣位置。
監測
即使在 POC 階段，跟蹤性能也很重要，因為它可以幫助確定大小并顯示瓶頸可能出現的位置。這些都是在縮放之前要考慮的重要因素。
POC 逐漸進入生產
POC 不必為其成功做好充分的生產準備。雖然組織在 POC 階段越接近生產規范，就越容易擴展，但大多數 POC 都不是為生產而設計的。
很多時候，公司使用他們手頭的任何硬件或軟件。這意味著在 POC 完成后，企業應返回并在最終部署之前更新其模型和硬件。許多人沒有。
以下是從 POC 過渡到生產的一些技巧。
衡量療效
跟蹤所有軟件和硬件的有效性，以幫助決定哪些應該投入生產，哪些必須升級。
使用企業級硬件和軟件
雖然在 POC 期間使用企業可能已經擁有的現有系統是可以的，但要花更多的時間了解生產所需的系統以及這些變化的任何影響。
僅使用可信來源的軟件，并在需要時提供支持。許多部署邊緣應用程序的組織在沒有研究軟件是否來自可信來源的情況下在線下載軟件，然后意外下載了惡意軟件。
為成功做好準備
最終， POC 只是成功部署的第一步。它們旨在幫助組織確定一個項目是否應該向前推進，以及它是否有效地利用了他們的資源。邊緣人工智能是大多數組織的范式轉變。要避免部署解決方案時的常見陷阱，請參閱 An IT Manager’s Guide: How to Successfully Deploy an Edge AI Solution 。
?
