Rohil Bhargava – NVIDIA 技術博客

AI 推理時代的 NVIDIA Blackwell Ultra

Wed, 19 Mar 2025 08:34:58 +0000

多年來，AI 的進步一直通過預訓練擴展遵循清晰的軌跡：更大的模型、更多的數據和更豐富的計算資源帶來了突破性的功能。在過去 5 年中，預訓練擴展使計算需求以驚人的速度增加了 50M 倍。但是，構建更智能的系統不再只是預訓練更大的模型。相反，它是關于改進它們并讓它們思考。通過將 AI 模型優化為專門任務，后訓練擴展可改進模型，以提供更多對話式響應。使用特定領域的合成數據調整模型，可增強其理解細微上下文并提供準確輸出的能力。合成數據生成作為訓練模型的可用內容沒有上限，這意味著在后訓練擴展中需要大量計算資源。現在，一種增強智能的新縮放定律已經出現：測試時縮放（test-time scaling）。測試時擴展也稱為長思考，可在 AI 推理過程中動態增加計算量，從而實現更深入的推理。AI 推理模型不僅能一次性生成答案，還能積極思考、權衡多種可能性，并實時優化答案。

Source

]]>

借助 NVIDIA NIM 和 NVIDIA cuVS 加速 Oracle 數據庫生成式 AI 工作負載

Tue, 17 Sep 2024 07:17:25 +0000

全球絕大多數數據仍未得到充分利用，企業希望通過創建新一波生成式AI應用程序來從這些數據中創造價值，從而產生變革性的業務影響。檢索增強生成（RAG）流程是其中的關鍵部分，使用戶能夠與大量數據對話，并將手冊、政策文檔等轉換為交互式生成式 AI 應用程序。然而，企業在實施 RAG 流程時面臨一些常見挑戰。同時處理結構化和非結構化數據很難，而且處理和檢索數據需要大量計算。在 RAG 流程中構建隱私和安全性也很重要。為了解決這一問題，NVIDIA 和 Oracle 攜手合作，展示了 RAG 工作流的多個部分如何利用 Oracle 云基礎設施（OCI）上的 NVIDIA 加速計算平臺。這項方法可以幫助企業更有效地利用結構化和非結構化數據，從而提高生成式 AI 輸出的質量和可靠性。本文將深入探討最近在 Oracle CloudWorld 2024 上演示的 RAG 管道的每個組件：

Source

]]>

在 NVIDIA AI 推理平臺上使用 Stable Diffusion XL 生成令人驚嘆的圖像

Thu, 07 Mar 2024 08:39:43 +0000

擴散模型正在各行各業中改變創意工作流程。這些模型通過采用降噪擴散技術，將隨機噪聲逐步塑造為 AI 生成的藝術，從而根據簡單的文本或圖像輸入生成令人驚嘆的圖像。這些模型可用于許多企業用例，例如為營銷創建個性化內容、為照片中的物體生成想象力的背景、為游戲設計動態高質量環境和角色等。雖然擴散模型是增強工作流程的有用工具，但在大規模部署時，這些模型會非常計算密集。在非專用硬件 (如 CPU) 上生成一批四張圖像可能需要幾分鐘時間，這可能會阻礙創意流程，并且成為許多開發者滿足嚴格服務級別協議 (SLA) 的障礙。在本文中，我們將向您展示 NVIDIA AI 推理平臺可以專注于解決這些挑戰，穩定 Diffusion XL(SDXL)。我們首先探討企業在生產環境中部署 SDXL 時面臨的常見挑戰，然后深入探討如何 Google Cloud 的 G2 實例由NVIDIA L4 Tensor…

Source

]]>

在 NVIDIA AI 推理平臺上使用 Stable Diffusion XL 生成令人驚嘆的圖像

Wed, 06 Mar 2024 06:25:59 +0000

Source

]]>

在 Azure 機器學習上提高人工智能模型推理性能

Mon, 29 Aug 2022 02:41:00 +0000

每個 AI 應用程序都需要強大的推理引擎。無論您是部署圖像識別服務、智能虛擬助理還是欺詐檢測應用程序，可靠的推理服務器都能提供快速、準確和可擴展的預測，具有低延遲（對單個查詢的響應時間較短）和高吞吐量（在給定時間間隔內處理大量查詢）。然而，檢查所有這些方框可能很難實現，而且成本高昂。團隊需要考慮部署可以利用以下功能的應用程序：這些要求使人工智能推理成為一項極具挑戰性的任務，可以通過 NVIDIA Triton 推理服務器 . 這篇文章提供了一個逐步提高 AI 推理性能的教程 Azure 機器學習使用 NVIDIA Triton 模型分析儀和 ONNX 運行時橄欖，如圖 1 所示。為了提高 AI 推理性能， ONNX Runtime OLive 和 Triton 模型分析器在模型部署之前自動執行參數優化步驟。這些參數定義了底層推理引擎將如何執行。

Source

]]>

在 Amazon EC2 上使用 NVIDIA Riva 構建語音支持的人工智能虛擬助手

Thu, 28 Jul 2022 05:16:00 +0000

語音 AI 可以在聯絡中心協助人類代理，為虛擬助理和數字化身供電，在視頻會議中生成實時字幕，等等。在后臺，這些基于語音的技術協調了自動語音識別（ ASR ）和文本到語音（ TTS ）管道網絡，以提供智能、實時的響應。從頭開始構建這些實時語音人工智能應用程序并非易事。從建立 GPU 優化的開發環境到在 300 毫秒內使用定制的基于大型 transformer 的語言模型部署語音 AI 推理，語音 AI 管道需要專門的時間、專業知識和投資。在這篇文章中，我們將介紹如何通過使用 NVIDIA Riva 運行 GPU 優化的應用程序。在沒有先驗知識或經驗的情況下，您將學習如何快速配置 GPU 優化的開發環境，并使用 Jupyter 筆記本運行 NVIDIA Riva ASR 和 TTS 示例。跟隨之后虛擬助手演示可以在 Amazon EC2 上由 NVIDIA GPU…

Source

]]>