John Welsh – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Wed, 25 Sep 2024 07:19:23 +0000 zh-CN hourly 1 196178272 借助 ReMEmbR,生成式 AI 賦予機器人推理和行動能力 http://www.open-lab.net/zh-cn/blog/using-generative-ai-to-enable-robots-to-reason-and-act-with-remembr/ Mon, 23 Sep 2024 07:14:58 +0000 http://www.open-lab.net/zh-cn/blog/?p=11362 Continued]]> 視覺語言模型 (VLM)通過將文本和圖像投影到同一嵌入空間,將基礎 LLM 的強大語言理解能力與 視覺 Transformer (ViT)的視覺功能相結合。它們可以獲取非結構化多模態數據并對其進行推理,然后以結構化格式返回輸出。這些模型基于廣泛的預訓練基礎構建,可以通過提供新提示或參數高效微調輕松適應不同的視覺相關任務。 它們還可以與實時數據源和工具集成,以便在不知道答案時請求獲取更多信息,或在知道答案時采取行動。LLMs 和 VLMs 可以充當代理,對數據進行推理,幫助機器人執行可能難以定義的有意義任務。 在之前的文章“ 使用 NVIDIA Jetson 實現生成式 AI ”中,我們展示了您可以在 NVIDIA Jetson Orin 設備上運行 LLM 和 VLM,從而實現各種新功能,例如零樣本物體檢測、視頻字幕和在邊緣設備上生成文本。 但是,

Source

]]>
11362
NVIDIA Jetson 讓生成式人工智能栩栩如生 http://www.open-lab.net/zh-cn/blog/bringing-generative-ai-to-life-with-jetson/ Thu, 19 Oct 2023 06:35:24 +0000 http://www.open-lab.net/zh-cn/blog/?p=8065 Continued]]> 近日,NVIDIA 發布了 Jetson 生成式人工智能實驗室,使開發人員能夠使用 NVIDIA Jetson 邊緣設備在現實世界中探索生成式人工智能的無限可能性。與其他嵌入式平臺不同,Jetson 能夠運行大型語言模型(LLM)、視覺轉換器和穩定的本地擴散。其中包括在 Jetson AGX Orin 上運行的最大的 Llama-2-70B 型號,以交互速率運行。 要在 Jetson 上快速測試最新的模型和應用程序,請使用 Jetson Generative AI 實驗室提供的教程和資源。現在,您可以專注于揭示生成 AI 在物理世界中尚未開發的潛力。 在這篇文章中,我們將探討您可以在 Jetson 設備上運行和體驗的令人興奮的生成人工智能應用程序,所有這些都在實驗室教程中全面介紹。 在人工智能快速發展的環境中,聚光燈明亮地照射在生成模型上,尤其是以下方面:

Source

]]>
8065
利用 OpenUSD 和合成數據開發托盤檢測模 http://www.open-lab.net/zh-cn/blog/developing-a-pallet-detection-model-using-openusd-and-synthetic-data/ Tue, 18 Jul 2023 05:41:51 +0000 http://www.open-lab.net/zh-cn/blog/?p=7434 Continued]]> 想象一下,你是一名機器人或機器學習( ML )工程師,負責開發一個檢測托盤的模型,以便叉車能夠操縱托盤。‌您熟悉傳統的深度學習管道,策劃了手動注釋的數據集,并培訓了成功的模型。 你已經為下一個挑戰做好了準備,它以密集堆放的托盤的形式出現。你可能會想,我應該從哪里開始?‌ 2D 邊界框檢測或實例分割對此任務最有用嗎?‌我應該進行三維邊界框檢測嗎?如果是,我將如何對其進行注釋?‌最好使用單眼相機、立體相機或激光雷達進行檢測嗎?‌考慮到自然倉庫場景中出現的托盤數量之多,手動注釋并非易事。如果我弄錯了,代價可能會很高。 這就是我在面對類似情況時所想的。幸運的是,我有一個簡單的方法來開始相對較低的承諾:合成數據。 合成數據生成(SDG)是一種使用渲染圖像而不是真實世界圖像來訓練神經網絡的技術。使用合成渲染數據的優勢在于,您可以隱式地獲取場景中對象的完整形狀和位置,

Source

]]>
7434
NVIDIA Jetson Orin 深度學習加速器入門 http://www.open-lab.net/zh-cn/blog/getting-started-with-the-deep-learning-accelerator-on-nvidia-jetson-orin/ Fri, 29 Jul 2022 06:43:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4745 Continued]]> 如果你是一個活躍的 Jetson 開發者,你知道 NVIDIA ISAAC 的一個關鍵優點是它將 CPU 和 GPU 組合成一個單一的模塊,在一個可以部署在邊緣的小、低功耗軟件包中為你提供擴展的 NVIDIA 軟件堆棧。 Jetson 還具有多種其他處理器,包括硬件加速編碼器和解碼器、圖像信號處理器和深度學習加速器( DLA )。 DLA 可在 Jetson AGX Xavier, Xavier NX, Jetson AGX Orin 和 Jetson Orin-NX 模塊上使用。最近的 NVIDIA DRIVE Xavier 和基于 Orin 的平臺也有 DLA 核心。 如果您使用 GPU 進行深度學習執行,請繼續閱讀以了解有關 DLA 的更多信息、為什么它有用以及如何使用它。 DLA 是一種特定于應用的集成電路,能夠有效地執行固定操作,如卷積和池,

Source

]]>
4745
人人超碰97caoporen国产