在過去的 15 年中，越來越多的企業將其傳統的 IT 應用程序從本地遷移到公共云。這場革命的第一階段，你可以稱之為“企業云轉型”，它讓企業從云的規模、專業知識和靈活性中獲益。這場革命的第二階段“邊緣人工智能云轉型”正在發生，它是由物聯網、 5G 、邊緣計算和人工智能共同推動的。它為新的 邊緣 AI 服務打開了一個可能的世界，將改變許多行業。企業和政府將通過提供一系列新服務來獲得 邊緣 AI 的價值，包括智能城市、自主汽車、工業 4 . 0 、智能零售和遠程醫療。
在一個數千億設備產生可操作數據的世界里，網絡架構需要一個范式的轉變。 5G 的興起帶來了更高的數據速度和執行網絡切片的能力，這使得網絡即服務能夠提供各種邊緣應用和服務。由于許多邊緣服務依賴于超低延遲鏈路，它們不適合在集中位置處理所有數據的傳統云 IT 方法。因此，邊緣計算的興起，在這種計算中，數據的處理更接近產生數據的設備和使用它的最終用戶或消費者。邊緣計算優化了帶寬利用率，減少了延遲，并確保了這些新服務更大的隱私性。這場革命的新階段是由人工智能推動的，人工智能推動了邊緣數據中心的創新，從傳感器的原始數據中產生價值，從而獲得實時見解。因此，這些未來的應用被稱為邊緣人工智能服務。
NVIDIA 與 馬維尼爾 合作，為 智能視頻分析（ IVA ） 構建了一個加速且高效的 Edge AI 解決方案。 IVA 應用框架，如 NVIDIA 大都市 可以理解攝像機和傳感器生成的大量數據。它們通過提供智能交通和停車系統為智能城市提供動力，或使工業自動化的進步提高生產力和減少浪費。
NVIDIA -Mavenir 高效加速 IVA 解決方案
NVIDIA 和 Mavenir 合作開發了一個 edge-AI 用例，該用例專注于城市地區或工業園區的實時目標檢測。該解決方案用于檢測感興趣的對象，支持諸如監控機場停車場智能停車場、防止郵件被盜或協調機器人車輛等應用程序。
如圖 1 所示， NVIDIA 和 Mavenir 的端到端解決方案將 5G 連接攝像頭生成的視頻流通過 Mavenir 的 5G 核心用戶平面功能（ UPF ）路由至 NVIDIA Metropolis 平臺。所有這些都運行在一個超級融合的 2RUNVIDIA EGX 邊緣服務器上。這些分解的基礎設施組件組合在一起，為公共和私人 5G 客戶提供一個加速和高效的 AI 驅動的邊緣 IVA 解決方案。
包流：包生命中的一天
如圖 2 所示，攝像機將視頻輸入平臺。這些攝像機提供的視頻幀包通過 Uu 連接流到模擬的 RAN 。 RAN 通過 N3 連接將數據包路由到 Mavenir 5G UPF 的 GPRS 隧道協議（ GTP ）隧道中。 NVIDIA 連接 X-6 Dx SmartNICs 卸載并加速 UPF 的數據包處理，繼續通過 N6 連接將數據包從 GTP 隧道路由到 EGX 邊緣服務器 。可用于分析數據的附加數據分析和數據處理平臺。
每臺攝像機以 720p 的分辨率和 4Mbps 的帶寬傳輸。該用例有 160 個攝像頭，因此每個網絡片的總帶寬為 640 Mbps 。系統的有效利用成為提供高效且經濟可行的解決方案的關鍵。
UPF 在 5G 核心中的關鍵作用
這種聯合解決方案的關鍵要素之一就是 5G 核心。我們在這個聯合解決方案中特別強調的一個方面是如何使用硬件卸載來加速 5G 系統的各個部分。具體來說，我們可以演示卸載 Mavenir UPF 元素以提供最高效的服務和吞吐量的好處。
如圖 3 所示， UPF 是 3GPP 5G 核心規范中的關鍵組件。它可以被認為是 5G 網絡的主干。 UPF 在 RAN / MEC 和數據網絡之間提供連接，確保數據在系統中的有效傳輸。
UPF 由 5G 核心的會話管理功能（ SMF ）組件管理。 SMF 根據定義的業務規則定義了通過 UPF 移動數據包的規則。因此， UPF 的角色之一是解析來自傳入數據包的會話或用戶信息，并將其與 SMF 定義的規則相匹配。
通過 5G （ 3GPP 協議中指定為 N3 和 N9 ）的連接基于 GTP 。 UPF 處理數據包通過 GTP 隧道時的解封裝和封裝。此外， UPF 處理包路由和轉發、包檢查、服務質量（ QoS ）實施和網絡地址轉換（ NAT ）。作為其工作的一部分， UPF 管理數據包的接收端擴展（ RSS ），其中數據包被負載平衡并定向到 UPF 服務器內的不同核心進行處理。
這種不同的角色為使用硬件卸載加速 UPF 性能提供了多種機會。
傳統上，傳統的虛擬網絡功能（ vnf ）運行在通用的 CPU 上。雖然靈活，但它們在可伸縮性和對不同工作負載的響應方面受到限制。 NVIDIA 網絡技術使用物理硬件，如智能網卡和 DPU ，以高速執行數據包處理任務。重點是管理 NIC 表中的流規則，將傳入的數據包與預定義的規則相匹配。 NVIDIA ASAP2是一項旗艦開源技術，實現了云、虛擬化和裸機環境的加速交換和數據包處理。
硬件比軟件更有效地執行卸載功能。因此，可以以較高的吞吐量和較低的延遲執行操作。此外，卸載可以釋放 CPU 來處理其他任務，而不是進行數據包處理。
盡快2將 UPF 功能卸載到硬件
在圖中，通過非 UPN3 接口接收來自 GNO 的數據包。然后， UPF 服務器中的調度線程或核心負責 RSS 。調度器接收包并將其定向到多個工作線程或虛擬核心中的一個。這些核心然后處理剩余的 UPF 管道：
- 由訂戶的 IP 地址標識的特定于訂戶的規則的初始匹配
- GTP 封裝/解封（基于通過 GTP 隧道的數據流）提取特定的訂戶 IP 地址
- 基于 SMF 規則的會話數據提取與處理
- 執行以業務為中心的任務，如 QoS 和數據包計費和計數
- 在將要發送到數據網絡或 5G 系統中的下一跳的數據包排隊之前，重寫 NAT 的數據包頭。
這個過程是 CPU 密集型和低效的。我們可以演示通過管道進行包處理并在 smartNIC 而不是在 CPU 中執行它的優勢。目前與 Mavenir 的合作已經分兩個階段演示了這種卸載。
圖 6 顯示了第一個卸載階段的重點是包分類、流標記、 GTP encap / decap 和 RSS 。
當數據包從 GNodeB 接收時， NIC 對 IPv4 和會話頭執行規則匹配。這樣， NIC 理解會話上下文并執行 RSS 功能，相應地將數據包發送給工作線程。這種卸載會立即釋放調度程序核心來執行其他任務。
在第二個更高級的階段， UPF 管道的其他組件被卸載到 NIC 。此過程包括流標記，以維護在一個數據包與多個表匹配時要保留在會話中的匹配上下文。
在 NIC 執行初始規則匹配之后，它將執行 GTP encap / decap ，并在將數據包發送到工作核心之前標記數據包以進行流標記。
與第一階段卸載一樣，調度器核心被釋放。還有更多的好處。 GTP encap / decap 開銷減少， UPF 軟件匹配所需的一些 CPU 搜索周期也減少了。此外， FlowTag 標記通過創建具有親和力的 RSS 大大提高了 UPF 處理。當系統識別出一個包時，它可以將它發送到特定的線程進行處理，而不是僅僅充當工作線程 – 和核心關聯感知的負載平衡器。
未來的發展將把 UPF 管道的附加功能轉移到硬件上，從而提高系統的效率。
5GC UPF 卸載的性能優勢
測試系統顯示了將 UPF 功能卸載到 smartNIC 的明顯優勢。測試是通過視頻流通過 RAN 進入 UPF ，被推向邊緣 AI 。
Mavenir UPF 軟件配置為使用 32 個虛擬快速路徑核心運行。圖 7 顯示，作為基線測試，視頻流通過 UPF 而無需任何硬件卸載。該測試顯示 32 個快速路徑核心的最大吞吐量達到 524 Gbps
當 SmartNIC UPF 卸載打開時，您可以看到驚人的性能，同時又不會犧牲整個 IVA 解決方案的效率。欲了解更多信息 , ，請觀看 GTC 2020 秋季會議， Edge AI 滿足 5G ：高效和加速的智能視頻分析（ IVA ） 。
?
