邊緣傳感器流的 AI 處理的計算需求越來越高。邊緣設備必須跟上高速率的傳入數據流、處理、顯示、存檔和流結果，或實時關閉控制循環。這需要能夠進行高性能計算的強大、高效、準確的硬件和軟件解決方案。
邊緣設備還必須快速安全地將數據傳輸到其他邊緣設備、預數據中心或云，以存儲和分析接收到的數據。先進的邊緣 AI 處理解決方案可快速處理大量傳感器數據，并實時產生可操作的見解。
NVIDIA Holoscan SDK v0.4 現在為邊緣的流式 AI 應用程序提供了更高效的處理。開發人員可以使用包含加速庫、預訓練 AI 模型和參考應用程序的 SDK ，使用 Python 和 C ++構建自己的流式應用程序。
Holoscan 最初用于醫療 AI 用例，現在已準備好在多個行業中應用更廣泛的應用，以實現邊緣的高性能計算。
新的 Holoscan SDK v0.4 功能包括：
- 快速應用程序開發的 Python 開發人員經驗。
- 使用 C ++的顯著改進。
- 高效的多 AI 推理。
- 低延遲現場可編程門陣列（ FPGA ）阿爾法混合。
- HoloHub ，一個收集對 Holoscan 貢獻的集中存儲庫。
此外，部署堆棧已更新為與 v0.4 中添加的新功能同步。接下來，將使用新的 SDK 版本更新部署堆棧。
Python 開發人員經驗
Holoscan SDK 現在提供了 Python 應用程序開發經驗。無需編譯任何代碼，開發人員可以使用 NVIDIA GPU 、 NVIDIA Clara AGX 和 NVIDIA IGX Orin 開發套件在 x86 _ 64 工作站上快速原型化和部署工作流。
開發人員還可以與其他 GPU 加速的 Python 庫集成，如 RAPIDS 和 CuPy ，以使用 NVIDIA 硬件并優化處理管道。
內置Tensor類支持 DLPack 和 NumPy 數組接口（ __array_interface__ 和 __cuda_array_interface__ ），以與 CuPy 、 PyTorch 、 JAX 、 TensorFlow 和 Numba 庫和多維數組處理兼容。
Holoscan Tensor對象可以與 cuSignal 和 cuCIM 一起使用，以獲得有效的信號。
下面的示例代碼演示了使用 Python API 創建 Holoscan 應用程序是多么簡單。 compose （）函數通過實例化運算符并將它們連接到工作流中來定義應用程序的整個工作流。
class BasicRadarFlow(Application):
def compose(self):
src = SignalGeneratorOp(self, CountCondition(self, iterations), name="src")
pulseCompression = PulseCompressionOp(self, name="pulse-compression")
mtiFilter = MTIFilterOp(self, name='mti-filter')
rangeDoppler = RangeDopplerOp(self, name='range-doppler')
cfar = CFAROp(self, name='cfar')
sink = SinkOp(self, name="sink")
self.add_flow(src, pulseCompression, {('x', 'x'), ('waveform', 'waveform')})
self.add_flow(pulseCompression, mtiFilter)
self.add_flow(mtiFilter, rangeDoppler)
self.add_flow(rangeDoppler, cfar)
self.add_flow(cfar, sink)此應用程序的完整 Python 源代碼可在 HoloHub repository 中找到。
Holoscan Python 包可供開發者通過 Python wheels 調用pip install holoscan。有關先決條件，請參閱 PyPI 上的說明。
C ++開發人員經驗
Holoscan SDK 現在為創建 Holoscan 運算符和流提供了完整的 C ++應用程序開發經驗。以前，創建 Holoscan 運算符的唯一方法是包裝 GXF 代碼集。現在，您可以使用 Holoscan SDK 直接創建運算符，并輕松將其與其他 C ++庫集成。了解 Holoscan User ‘ s Guide 中的本機運算符。
多 AI 推理
Holoscan SDK 支持在同一輸入流上的多個 AI 管道和多個 AI 模型的并行推理。通過多 AI 推理模塊進行的并行推理可以將性能提高約 30% ，以便在相同的時間約束下將更多模型引入推理模塊。
了解 NVIDIA Inception 成員 iCardio.ai 如何使用 NVIDIA Clara Holoscan 到 實時運行多 AI 流水線?。
低延遲 FPGA alpha 混合
某些視頻 I / O 卡，如 AJA KONA 5 ，支持 FPGA 上的 alpha 混合。此功能可實現從輸入到輸出的亞毫秒視頻信號延遲傳遞。這還包括 AI 推理與 Holoscan 流混合的時間。
除了低延遲實現之外，這還啟用了一個安全功能，以減輕 AI 流中的故障。在 AI 管道發生故障的情況下，原始視頻源繼續從捕獲卡流到顯示器。下圖顯示了用于手術工具跟蹤的低延遲 FPGA alpha 混合工作流。有關詳細信息，請參閱 Holoscan SDK 用戶手冊?。
霍洛維茲
Holoscan SDK v0.4 版本在所有示例應用程序管道中都利用了 Holoviz 。以前 OpenGL 可視化運算符支持的功能是通過使用 Vulkan 的 Holoviz 啟用的。該操作符易于配置，可處理 RGB / RGBA 圖像、遮罩、幾何圖元和文本的合成、混合和可視化。
它還支持無頭渲染和流式輸出，以及繞過桌面合成器的模式延遲。
HoloHub 公司
此版本引入了名為 HoloHub 的新存儲庫。作為一個公共存儲庫， HoloHub 托管了一組示例應用程序和操作員，并發布開發人員社區提供的貢獻。
通過 HoloHub ， NVIDIA 合作伙伴（包括傳感器供應商）可以實施 Holoscan 支持，并將其分發給社區，以便快速實施新的處理工作流。
開始使用 Holoscan SDK
開始使用 Holoscan SDK 0.4 的最快方法是在 Holoscan 開發工具包或 x86 設備上運行 Holoscan 容器中的示例和示例應用程序。此更新的容器使用運行時配置來測試當前應用程序。它還提供 C ++和 Python 開發工具和示例，以修改和創建新的處理工作流。
Holoscan SDK 可通過 PyPi 為 Python 3.8 至 3.11 以及 Ubuntu 20.04 的 Debian 軟件包提供。
對于希望構建 Holoscan SDK 的開發人員，源代碼可以通過 nvidia-holoscan GitHub repository 的 Apache 2 許可證獲得。
?
