John Welsh – NVIDIA 技術博客

借助 ReMEmbR，生成式 AI 賦予機器人推理和行動能力

Mon, 23 Sep 2024 07:14:58 +0000

視覺語言模型（VLM）通過將文本和圖像投影到同一嵌入空間，將基礎 LLM 的強大語言理解能力與視覺 Transformer （ViT）的視覺功能相結合。它們可以獲取非結構化多模態數據并對其進行推理，然后以結構化格式返回輸出。這些模型基于廣泛的預訓練基礎構建，可以通過提供新提示或參數高效微調輕松適應不同的視覺相關任務。它們還可以與實時數據源和工具集成，以便在不知道答案時請求獲取更多信息，或在知道答案時采取行動。LLMs 和 VLMs 可以充當代理，對數據進行推理，幫助機器人執行可能難以定義的有意義任務。在之前的文章“ 使用 NVIDIA Jetson 實現生成式 AI ”中，我們展示了您可以在 NVIDIA Jetson Orin 設備上運行 LLM 和 VLM，從而實現各種新功能，例如零樣本物體檢測、視頻字幕和在邊緣設備上生成文本。但是，

Source

]]>

NVIDIA Jetson 讓生成式人工智能栩栩如生

Thu, 19 Oct 2023 06:35:24 +0000

近日，NVIDIA 發布了 Jetson 生成式人工智能實驗室，使開發人員能夠使用 NVIDIA Jetson 邊緣設備在現實世界中探索生成式人工智能的無限可能性。與其他嵌入式平臺不同，Jetson 能夠運行大型語言模型（LLM）、視覺轉換器和穩定的本地擴散。其中包括在 Jetson AGX Orin 上運行的最大的 Llama-2-70B 型號，以交互速率運行。要在 Jetson 上快速測試最新的模型和應用程序，請使用 Jetson Generative AI 實驗室提供的教程和資源。現在，您可以專注于揭示生成 AI 在物理世界中尚未開發的潛力。在這篇文章中，我們將探討您可以在 Jetson 設備上運行和體驗的令人興奮的生成人工智能應用程序，所有這些都在實驗室教程中全面介紹。在人工智能快速發展的環境中，聚光燈明亮地照射在生成模型上，尤其是以下方面：

Source

]]>

利用 OpenUSD 和合成數據開發托盤檢測模

Tue, 18 Jul 2023 05:41:51 +0000

想象一下，你是一名機器人或機器學習（ ML ）工程師，負責開發一個檢測托盤的模型，以便叉車能夠操縱托盤。‌您熟悉傳統的深度學習管道，策劃了手動注釋的數據集，并培訓了成功的模型。你已經為下一個挑戰做好了準備，它以密集堆放的托盤的形式出現。你可能會想，我應該從哪里開始？‌ 2D 邊界框檢測或實例分割對此任務最有用嗎？‌我應該進行三維邊界框檢測嗎？如果是，我將如何對其進行注釋？‌最好使用單眼相機、立體相機或激光雷達進行檢測嗎？‌考慮到自然倉庫場景中出現的托盤數量之多，手動注釋并非易事。如果我弄錯了，代價可能會很高。這就是我在面對類似情況時所想的。幸運的是，我有一個簡單的方法來開始相對較低的承諾：合成數據。合成數據生成（SDG）是一種使用渲染圖像而不是真實世界圖像來訓練神經網絡的技術。使用合成渲染數據的優勢在于，您可以隱式地獲取場景中對象的完整形狀和位置，

Source

]]>

NVIDIA Jetson Orin 深度學習加速器入門

Fri, 29 Jul 2022 06:43:00 +0000

如果你是一個活躍的 Jetson 開發者，你知道 NVIDIA ISAAC 的一個關鍵優點是它將 CPU 和 GPU 組合成一個單一的模塊，在一個可以部署在邊緣的小、低功耗軟件包中為你提供擴展的 NVIDIA 軟件堆棧。 Jetson 還具有多種其他處理器，包括硬件加速編碼器和解碼器、圖像信號處理器和深度學習加速器（ DLA ）。 DLA 可在 Jetson AGX Xavier, Xavier NX, Jetson AGX Orin 和 Jetson Orin-NX 模塊上使用。最近的 NVIDIA DRIVE Xavier 和基于 Orin 的平臺也有 DLA 核心。如果您使用 GPU 進行深度學習執行，請繼續閱讀以了解有關 DLA 的更多信息、為什么它有用以及如何使用它。 DLA 是一種特定于應用的集成電路，能夠有效地執行固定操作，如卷積和池，

Source

]]>