生成型人工智能 – NVIDIA 技術博客

生成型人工智能 – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Wed, 12 Mar 2025 06:44:08 +0000 zh-CN hourly 1 196178272 借助 NVIDIA DriveOS LLM SDK 簡化自動駕駛汽車應用的 LLM 部署 http://www.open-lab.net/zh-cn/blog/streamline-llm-deployment-for-autonomous-vehicle-applications-with-nvidia-driveos-llm-sdk/ Mon, 10 Mar 2025 06:57:15 +0000 http://www.open-lab.net/zh-cn/blog/?p=13098 Continued]]> 大語言模型 (LLMs) 在自然語言處理 (NLP) 中表現出非凡的泛化能力。它們廣泛應用于翻譯、數字助理、推薦系統、上下文分析、代碼生成、網絡安全等。汽車應用對基于 LLMs 的自動駕駛和座艙功能解決方案的需求與日俱增。在通常資源受限的汽車平臺上部署 LLMs 和視覺語言模型 (VLMs) 已成為一項嚴峻的挑戰。本文將介紹 NVIDIA DriveOS LLM SDK，該庫旨在優化自動駕駛汽車 DRIVE AGX 平臺上先進 LLM 和 VLM 的推理。它是基于 NVIDIA TensorRT 推理引擎構建的輕量級工具包。它整合了針對 LLM 的特定優化，例如自定義注意力內核和量化技術，以便在汽車平臺上部署 LLM。該工具包提供易于使用的 C++ 庫和示例代碼，用于導出、構建 TensorRT 引擎、執行推理，以及使用完整的端到端工作流對 LLM 進行基準測試。

]]>

13098

衡量 AI Guardrails 在生成式 AI 應用中的有效性和性能 http://www.open-lab.net/zh-cn/blog/measuring-the-effectiveness-and-performance-of-ai-guardrails-in-generative-ai-applications/ Mon, 03 Mar 2025 06:18:06 +0000 http://www.open-lab.net/zh-cn/blog/?p=13146 Continued]]> 保護 AI 智能體和其他對話式 AI 應用，以確保安全、品牌和可靠的行為，這對企業至關重要。 NVIDIA NeMo Guardrails 通過 AI Guardrails 為內容安全、主題控制、越獄檢測等提供強大的保護，以評估和優化 Guardrail 性能。在本文中，我們將探索用于測量和優化 AI 護欄有效性的技術，確保您的 AI 應用在仔細定義的邊界內運行，同時滿足用戶體驗和其他設計要求。 NeMo Guardrails 提供了一個評估工具，用于在給定特定 AI Guardrails 策略的情況下監控策略合規性。除了 LLM 生成響應的策略合規性率之外，該工具還提供了有關延遲和 LLM 令牌使用效率等關鍵性能指標的見解。本文將指導您完成評估工具，重點介紹每個指標在優化 AI 應用方面發揮的作用。隨著企業不斷突破 AI 的極限，平衡性能和成本效益已成為重中之重。

]]>

13146

聚焦：NAVER Place 利用 NVIDIA TensorRT-LLM 優化 SLM 基礎的垂直服務 http://www.open-lab.net/zh-cn/blog/spotlight-naver-place-optimizes-slm-based-vertical-services-with-nvidia-tensorrt-llm/ Fri, 28 Feb 2025 06:40:09 +0000 http://www.open-lab.net/zh-cn/blog/?p=13155 Continued]]> NAVER 是一家韓國熱門搜索引擎公司，提供 Naver Place ，這是一項基于地理的服務，可提供有關韓國數百萬家企業和興趣點的詳細信息。用戶可以搜索不同的地點、發表評論，以及實時進行預訂或下單。 NAVER Place 垂直服務基于小語言模型 (SLMs) 來提高可用性，并專門針對 Place、Map 和 Travel。本文分享了 NVIDIA 和 NAVER 如何使用 NVIDIA TensorRT-LLM 優化 SLM 推理性能，從而在 NVIDIA Triton Inference Server 上實現基于 SLM 的垂直服務。如需詳細了解 NAVER 如何使用 AI，請參閱 NAVER Place AI 開發團隊簡介。與大語言模型（LLMs）相比，小語言模型（SLMs）是能夠以更少的參數理解自然語言的 AI 模型。眾所周知，

]]>

13155

使用 DeepSeek-R1 NIM 構建具有專家推理功能的 AI 智能體 http://www.open-lab.net/zh-cn/blog/build-ai-agents-with-expert-reasoning-capabilities-using-deepseek-r1-nim/ Fri, 28 Feb 2025 06:27:48 +0000 http://www.open-lab.net/zh-cn/blog/?p=13149 Continued]]> AI 智能體正在通過實現流程自動化、優化決策制定和簡化操作來改變業務運營。其有效性取決于專家推理，從而實現更明智的規劃和高效執行。代理式 AI 應用可以從 DeepSeek-R1 等模型的功能中受益。DeepSeek-R1 專為解決需要高級 AI 推理的問題而構建，是一個包含 671 億個參數的開放式專家混合模型 (MoE)。經過強化學習 (RL) 技術的訓練，該模型能夠激勵準確、結構化的推理鏈，在邏輯推理、多步驟問題解決和結構化分析方面表現出色。 DeepSeek-R1 通過 chain-of-thought (CoT) 推理將復雜問題分解為多個步驟，使其能夠更準確、更深入地處理復雜問題。為此，DeepSeek-R1 使用 test-time scaling，這是一種新的 scaling law，通過在推理過程中分配額外的計算資源來增強模型的功能和演能力。但是，

]]>

13149

圖像和視頻理解的視覺語言模型提示工程實踐指南 http://www.open-lab.net/zh-cn/blog/vision-language-model-prompt-engineering-guide-for-image-and-video-understanding/ Wed, 26 Feb 2025 06:49:25 +0000 http://www.open-lab.net/zh-cn/blog/?p=13030 Continued]]> 視覺語言模型 (VLMs) 正在以極快的速度發展。2020 年，首批 VLMs 通過使用視覺編碼器將視覺理解引入大語言模型 (LLMs) ，徹底改變了生成式 AI 格局。這些初始 VLMs 能力有限，只能理解文本和單張圖像輸入。幾年后，VLM 現在能夠理解多圖像和視頻輸入，以執行高級視覺語言任務，例如視覺問答 (VQA)、字幕、搜索和摘要。通過調整提示和模型權重，可以提高特定用例的 VLM 準確性。可以使用 PEFT 等高效技術微調模型權重，但仍需要足夠的數據和計算。但是， prompt engineering 和上下文學習也可用于提高輸出質量，并且與在運行時調整模型的文本輸入一樣簡單。本文將為您介紹 VLM 的演變，以及如何有效地提示 VLM 以用于了解單張圖像、多張圖像和視頻的用例。如需了解有關 VLM 和視覺 AI 智能體的更多信息，

]]>

13030

借助適用于 LLM 的 NVIDIA NIM 微服務加速科學文獻審查 http://www.open-lab.net/zh-cn/blog/accelerating-scientific-literature-reviews-with-nvidia-nim-microservices-for-llms/ Wed, 26 Feb 2025 06:44:27 +0000 http://www.open-lab.net/zh-cn/blog/?p=13028 Continued]]> 精心設計的系統審查通常是研究人員探索科學領域的第一步。對于剛剛接觸該領域的科學家，它提供了該領域的結構化概述。對于專家而言，它可以細化他們的理解并激發新的想法。在 2024 年， Web of Science 數據庫收錄了 218,650 篇評測文章，凸顯了這些資源在研究中的重要性。完成系統審查可顯著增強研究人員的知識庫及其學術影響。然而，傳統的評論文章需要收集、閱讀和總結有關特定主題的大量學術文章。由于這項人工練習非常耗時，處理過的文獻的范圍通常局限于幾十篇或幾百篇文章。跨學科內容 (通常超出研究人員的專業領域) 又增加了一層復雜性。這些挑戰使得創建全面、可靠且有影響力的系統審查變得越來越困難。大語言模型 (LLMs) 的出現提供了一種突破性的解決方案，能夠從大量文獻中快速提取和合成信息。參加 Generative AI Codefest Australia…

]]>

13028

使用 NVIDIA NIM 構建基于 VLM 的簡單多模態信息檢索系統 http://www.open-lab.net/zh-cn/blog/building-a-simple-vlm-based-multimodal-information-retrieval-system-with-nvidia-nim/ Wed, 26 Feb 2025 06:30:18 +0000 http://www.open-lab.net/zh-cn/blog/?p=13023 Continued]]> 在當今數據驅動的世界中，即使是從少量數據中檢索準確信息的能力，對于尋求精簡、有效的快速部署、原型設計或實驗解決方案的開發者來說也至關重要。信息檢索領域的主要挑戰之一是管理非結構化數據集中的各種模式，包括文本、PDF、圖像、表格、音頻、視頻等。多模態 AI 模型通過同時處理多個數據模式來應對這一挑戰，以不同的形式生成連貫一致的全面輸出。 NVIDIA NIM 微服務可簡化 AI 基礎模型在語言、計算機視覺、語音、生物學等領域的安全可靠部署。 NIM 微服務可隨時隨地部署在 NVIDIA 加速基礎設施上，并提供行業標準 API，以快速集成應用和熱門 AI 開發框架 (包括 LangChain 和 LlamaIndex)。本文將幫助您著手構建基于視覺語言模型（VLM）的多模態信息檢索系統，該系統能夠回答涉及文本、圖像和表格的復雜查詢。

]]>

13023

在 NVIDIA GPU 上訓練的 Microsoft Phi SLM 的多模態最新進展 http://www.open-lab.net/zh-cn/blog/latest-multimodal-addition-to-microsoft-phi-slms-trained-on-nvidia-gpus/ Wed, 26 Feb 2025 06:19:58 +0000 http://www.open-lab.net/zh-cn/blog/?p=13020 Continued]]> 大語言模型（LLMs）已滲透到各行各業，并改變了技術潛力。但是，由于規模龐大，它們對于許多公司目前面臨的資源限制來說并不切實際。小語言模型（SLMs）的興起通過創建資源占用更小的模型，將質量和成本聯系起來。SLMs 是語言模型的一個子集，這些模型傾向于專注于特定領域，并使用更簡單的神經架構構建。隨著模型的發展模仿人類感知周圍環境的方式，模型必須接受多種形式的多模態數據。 Microsoft 宣布在 Phi 系列中推出新一代開放式 SLM，并新增兩項功能： Phi-4-multimodal 是第一個加入該系列的多模態模型，接受文本、音頻和圖像數據輸入。這些模型足夠小，可以在設備上部署。此版本基于 2024 年 12 月發布的 Phi-4 14B 參數 SLM 的研究版本構建而成，可用于兩個新的較小模型的商業用途。

]]>

13020

代理自主級別與安全性 http://www.open-lab.net/zh-cn/blog/agentic-autonomy-levels-and-security/ Tue, 25 Feb 2025 07:08:04 +0000 http://www.open-lab.net/zh-cn/blog/?p=13039 Continued]]> 智能體工作流是 AI 賦能工具的下一次演進。它們使開發者能夠將多個 AI 模型關聯在一起以執行復雜的活動，使 AI 模型能夠使用工具來訪問其他數據或自動執行用戶操作，并使 AI 模型能夠自主運行，以盡可能減少人類參與或交互的方式分析和執行復雜的任務。由于其強大的功能，代理工作流也存在風險因素。代理系統的核心最常見的模型仍然是各種 LLM，如果可以將不受信任的數據引入系統，這些模型仍然容易受到 prompt injection 的影響。為幫助評估和緩解這些漏洞，NVIDIA 提供了一個 Agentic Autonomy 框架，我們將其用于以下用途：在實踐中，開發 AI 賦能的應用需要兩個關鍵組件：當系統的 AI 組件是 LLM 時，這通常被稱為直接提示注入 (對手和用戶是同一個人) 或間接提示注入 (對手和用戶可以是不同的人)。然而，

]]>

13039

定義 LLM 紅色團隊 http://www.open-lab.net/zh-cn/blog/defining-llm-red-teaming/ Tue, 25 Feb 2025 07:04:29 +0000 http://www.open-lab.net/zh-cn/blog/?p=13036 Continued]]> 在一項活動中，人們為生成式 AI 技術 (例如大語言模型 (LLMs)) 提供輸入，以確定輸出是否會偏離可接受的標準。LLMs 的這種使用始于 2023 年，并已迅速發展成為一種常見的行業實踐，也是值得信賴的 AI 的基石。如何標準化和定義 LLM 紅色團隊？ NVIDIA、華盛頓大學、Center for Human-Compatible AI 和哥本哈根 IT 大學的研究人員對紅色團隊的實際應用“ Summon a demon and bind it: A grounded theory of LLM red teaming ”(在 PLOS One 中發布) 進行了一項研究。由于目標是定義和理解相對較新的活動，因此該研究采用了有根據的理論方法，在數千分鐘的視頻錄制中，以數十位從業者的訪談作為證據。我們與安全專業人員、政策研究人員和科學家，

]]>

13036

基于 Marco 多 AI 智能體框架的可配置圖形任務求解在芯片設計中的應用 http://www.open-lab.net/zh-cn/blog/configurable-graph-based-task-solving-with-the-marco-multi-ai-agent-framework-for-chip-design/ Tue, 25 Feb 2025 06:55:04 +0000 http://www.open-lab.net/zh-cn/blog/?p=13033 Continued]]> 芯片和硬件設計因其復雜性和先進的技術而面臨眾多挑戰。這些挑戰導致在合成、驗證、物理設計和可靠性循環期間優化性能、功耗、面積和成本（PPAC）的周轉時間（TAT）更長。大語言模型（LLMs）已顯示出大規模理解和生成自然語言的出色能力，從而為各種領域帶來許多潛在應用和優勢。成功地將基于 LLMs 的 AI 智能體用于硬件設計，可以大幅減少 TAT，從而縮短產品周期、降低成本、提高設計可靠性，并降低代價高昂的錯誤風險。圖 1. Marco 框架概述我們介紹了擬議的 Marco 框架，其中包括基于圖形的任務求解、子任務的智能體配置，以及每個 AI 智能體的實時技能/工具配置。圖 1 展示了基于動態和靜態可配置圖形的任務求解，可靈活集成芯片設計知識 (例如電路、定時等)。在任務圖中，每個節點代表一個子任務，

]]>

13033

借助全新的游戲內推理 SDK，將 NVIDIA ACE AI 角色引入游戲 http://www.open-lab.net/zh-cn/blog/bring-nvidia-ace-ai-characters-to-games-with-the-new-in-game-inference-sdk/ Thu, 20 Feb 2025 04:27:17 +0000 http://www.open-lab.net/zh-cn/blog/?p=12965 Continued]]> NVIDIA ACE 是一套數字人技術，可借助生成式 AI 讓游戲角色和數字助理如生。ACE 設備上模型為自主游戲角色提供代理工作流，這些角色可以感知環境、理解多模態輸入、戰略性地規劃一組行動并實時執行所有這些行動，從而為玩家提供動態體驗。為了與游戲引擎一起運行這些模型， NVIDIA In-Game Inferencing (NVIGI) SDK 使您能夠將 AI 推理直接集成到 C++ 游戲和應用中，以實現出色的性能和延遲。本文介紹了 NVIGI 如何與 NVIDIA ACE 集成，在游戲開發中實現無縫 AI 推理。我們介紹了 NVIGI 架構、主要功能，以及如何開始使用 NVIDIA ACE 設備端模型創建自主角色。 NVIDIA ACE 支持由生成式 AI 提供支持的語音、智能和動畫。它提供了一套 AI 模型，使游戲角色能夠根據玩家的互動進行實時感知、

]]>

12965

使用 Whisper 和 Canary 架構部署 NVIDIA Riva 多語種 ASR，同時選擇性地停用 NMT http://www.open-lab.net/zh-cn/blog/deploying-nvidia-riva-multilingual-asr-with-whisper-and-canary-architectures-while-selectively-deactivating-nmt/ Thu, 20 Feb 2025 04:05:01 +0000 http://www.open-lab.net/zh-cn/blog/?p=12956 Continued]]> NVIDIA 持續開發自動語音識別 (ASR) 模型，這些模型在業內樹立了基準。早期版本的 NVIDIA Riva 是一種適用于 ASR 、 TTS 和 NMT 的 GPU 加速語音和翻譯 AI 微服務的集合，支持基于 Conformer 架構的英語-西班牙語和英語-日語代碼交換 ASR 模型，以及基于 Parakeet 架構的支持 EMEA 地區多種語言（即英國英語、歐洲西班牙語、法語、意大利語、標準德語和亞美尼亞語）的模型。最近，NVIDIA 發布了 Riva 2.18.0 容器和 SDK ，以不斷改進其語音 AI 模型。在此新版本中，我們現在提供以下服務：自動語音翻譯（AST）是將一種語言的語音翻譯為另一種語言的文本，而無需以第一種語言進行中間轉錄。

]]>

12956

制造業產品設計工作流程的生成式 AI 轉型 http://www.open-lab.net/zh-cn/blog/transforming-product-design-workflows-in-manufacturing-with-generative-ai/ Thu, 20 Feb 2025 03:03:37 +0000 http://www.open-lab.net/zh-cn/blog/?p=12935 Continued]]> 長期以來，制造行業的傳統設計和工程工作流程一直以順序迭代的方法為特征，這種方法通常既耗時又需要大量資源。這些傳統方法通常涉及需求收集、概念設計、詳細設計、分析、原型設計和測試等階段，每個階段都取決于之前迭代的結果。雖然這種結構化方法可以控制復雜的項目，但也存在重大挑戰。由于時間限制和資源可用性，工程師在設計探索中通常會面臨限制，導致項目時間延長和成本增加。物理測試的需求可能會導致更長的開發周期和更高的成本，在汽車和航空航天等行業中尤為如此。此外，傳統工作流程的順序性會導致效率低下，因為錯誤和更改僅在后期階段才能識別，從而導致成本高昂的修訂和延遲。設計和工程領域的 AI 通過提供更快速、更高效的創新解決方案，正在改變這些傳統工作流程。主要用例包括 AI 驅動的生成式設計，它使工程師能夠根據指定的參數和約束條件生成多個設計方案，從而減少物理迭代的需求，并顯著加速設計流程。

]]>

12935

利用 Evo 2 以全新規模跨進化研究生命生物分子的語言 http://www.open-lab.net/zh-cn/blog/understanding-the-language-of-lifes-biomolecules-across-evolution-at-a-new-scale-with-evo-2/ Wed, 19 Feb 2025 04:52:15 +0000 http://www.open-lab.net/zh-cn/blog/?p=12974 Continued]]> AI 已從實驗好奇心發展為生物學研究的驅動力。深度學習算法、海量組學數據集和自動化實驗室工作流程的融合使科學家能夠解決一度被認為棘手的問題 (從快速蛋白質結構預測到生成式藥物設計)，從而增加了科學家對 AI 素養的需求。在這一勢頭下，我們正處于下一次范式轉變的邊緣：專為生物學打造的強大 AI 基礎模型的出現。這些新模型有望將不同的數據源 (基因組序列、RNA 和蛋白質組譜，在某些情況下還包括科學文獻) 統一為分子、細胞和系統級別上對生命的統一、一致的理解。學習生物學的語言和結構為變革性應用打開了大門，例如更智能的藥物發現、合理的酶設計和疾病機制闡明。在我們為下一波 AI 驅動的突破做好準備之際，這些基礎模型顯然不僅能夠加速進展，還將重新定義生物學研究的可能性。 2024 年 11 月推出的首個 Evo 模型是基因組研究領域的一個突破性里程碑，

]]>

12974

人人超碰97caoporen国产