功能 – NVIDIA 技術博客

功能 – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Wed, 30 Apr 2025 08:58:50 +0000 zh-CN hourly 1 196178272 構建應用程序以安全使用 KV 緩存 http://www.open-lab.net/zh-cn/blog/structuring-applications-to-secure-the-kv-cache/ Tue, 29 Apr 2025 08:32:44 +0000 http://www.open-lab.net/zh-cn/blog/?p=13663 Continued]]> 在與基于 Transformer 的模型 (如大語言模型 (LLM) 和視覺語言模型 (VLM)) 交互時，輸入結構會塑造模型的輸出。但提示通常不僅僅是簡單的用戶查詢。在實踐中，它們通過動態組合來自系統指令、上下文數據和用戶輸入等各種來源的數據來優化響應。在多租戶環境中，多個用戶共享同一應用程序基礎設施，這種動態提示結構可能會帶來意外的安全風險。其中一個風險來自 prefix caching 優化，如果處理不當，可能會跨用戶邊界泄露信息。本文將探討提示結構與緩存的交集，以及它們的交互如何在 LLM 驅動的應用中造成細微漏洞。通過了解這些機制，開發者可以設計出更安全的系統。如果您僅以聊天機器人用戶的身份與 LLM 進行交互，您可能會將提示視為如下所示：但在大多數真實應用中，此用戶查詢只是更大規模的動態構建輸入（即應用提示）的一部分。

]]>

13663

聚焦：個人 AI 借助 NVIDIA Riva 為小企業主帶來 AI 接待員 http://www.open-lab.net/zh-cn/blog/spotlight-personal-ai-brings-ai-receptionists-to-small-business-owners-with-nvidia-riva/ Tue, 29 Apr 2025 08:27:20 +0000 http://www.open-lab.net/zh-cn/blog/?p=13660 Continued]]> 星期二晚上 10 點，Sapochnick Law Firm (一家位于加利福尼亞州圣地亞哥的專業律師事務所) 的電話鈴響了。作為這家公司的客戶，打電話的人在電話鈴響時焦急萬分。他們收到了一封包含可能改變生活的消息的重要信件，并向律師提出了緊急問題。客戶很快意識到 Sapochnick 團隊可能在幾小時前離開了辦公室，但他們一直在排隊等待，希望至少有一個語音郵件問候可以提供某種幫助。沒有錄音，聲音用熱情、專業的問候打破了沉默。雙方之間自然而然地展開了對話，很明顯，律師事務所發出的聲音遠不止接電話。該公司精通細致入微的移民程序，熟悉該公司處理特定法律場景的方法，最重要的是，該公司擁有公司創始人 Jacob Sapochnick 廣泛的專有知識。這種真正的互動之所以能夠實現，是因為 Personal AI Receptionist 是一項由 Personal AI 和…

]]>

13660

SETI 如何利用人工智能搜索智能外星生命 http://www.open-lab.net/zh-cn/blog/how-seti-uses-ai-to-search-for-intelligent-alien-life/ Mon, 28 Apr 2025 08:55:58 +0000 http://www.open-lab.net/zh-cn/blog/?p=13675 Continued]]> 一位來自 SETI Institute 的研究人員在 GTC 2025 上向觀眾講述了 SETI 如何成功試用一種識別星際無線電波的新方法，從理論上講，該方法也可用于識別智能外星生命的通信。 SETI 是世界上尋找其他行星智能生命跡象的重要組織，其員工工程師 Luigi Cruz 描述了他的團隊如何使用 NVIDIA Holoscan 和 AI 準確識別遙遠的脈沖星發出的無線電信號。 SETI 團隊使用位于加利福尼亞州帽子河艾倫望遠鏡陣列的 42 個不同但同步的天線，識別了位于 Crab Nebula (距離地球約 6,500 光年) 中的脈沖星發出的無線電信號。 “宇宙非常大，而且大部分都是空的，”Cruz 說。“我們需要超人的方法 — — 這就是 AI 的本質 — — 以創造性的方式搜索數據。” SETI 研究人員使用 NVIDIA Holoscan 和定制神經網絡，

]]>

13675

在 NVIDIA OptiX 中使用協作向量實現神經渲染 http://www.open-lab.net/zh-cn/blog/neural-rendering-in-nvidia-optix-using-cooperative-vectors/ Thu, 17 Apr 2025 06:19:54 +0000 http://www.open-lab.net/zh-cn/blog/?p=13634 Continued]]> NVIDIA OptiX 9.0 的發布引入了一項名為 Cooperative Vectors 的新功能，可將 AI 工作流作為光線追蹤內核的一部分。該功能利用 NVIDIA RTX Tensor Cores 在著色過程中進行硬件加速的矩陣運算和神經網絡計算。這解鎖了 NVIDIA RTX Neural Shaders 和 NVIDIA RTX Neural Texture Compression (NTC) 等 AI 渲染技術，并在實時渲染中進一步向電影級逼真材質邁進。協作向量 API 已在 OptiX 、 DirectX 、 NVAPI 、 Slang 和 Vulkan 中推出。本文將探討適用于所有 API 的協作向量背后的概念，并通過使用 OptiX API 的示例進行工作。多層感知器 (MLP) 是許多神經網絡算法的基本構建模塊。研究表明，

]]>

13634

頂級大師專業提示：使用 NVIDIA cuDF-pandas 進行特征工程，在 Kaggle 競賽中奪冠 http://www.open-lab.net/zh-cn/blog/grandmaster-pro-tip-winning-first-place-in-kaggle-competition-with-feature-engineering-using-nvidia-cudf-pandas/ Thu, 17 Apr 2025 06:16:48 +0000 http://www.open-lab.net/zh-cn/blog/?p=13631 Continued]]> 在處理表格數據時，特征工程仍然是提高模型準確性的最有效方法之一。與 NLP 和計算機視覺等神經網絡可以從原始輸入中提取豐富模式的領域不同，性能最佳的表格模型 (尤其是梯度提升決策樹) 仍然從精心打造的特征中獲得顯著優勢。然而，潛在的有用特征數量意味著，深入研究這些特征通常需要大量的計算。在 CPU 上使用標準 pandas 生成和驗證數百或數千個功能理念的速度太慢，無法實現。這就是 GPU 加速改變游戲規則的地方。借助 NVIDIA cuDF-pandas，我可以在 GPU 上加速 pandas 操作，無需更改代碼，從而為 Kaggle 2 月的 Playground 比賽快速生成和測試 10000 多個設計功能。這種加速的發現過程是關鍵的差異化因素。在大幅縮短的時間內 (幾天而不是潛在的幾個月) ，發現的最佳 500 個特征顯著提高了我的 XGBoost 模型的準確性，

]]>

13631

使用 NVIDIA NIM 管理科學文獻中的生物研究成果 http://www.open-lab.net/zh-cn/blog/curating-biological-findings-from-scientific-literature-with-nvidia-nim/ Fri, 11 Apr 2025 06:07:31 +0000 http://www.open-lab.net/zh-cn/blog/?p=13499 Continued]]> 科學論文多種多樣，通常為同一實體使用不同的術語，使用不同的方法來研究生物現象，并在不同的上下文中展示研究結果。從這些論文中提取有意義的見解需要對生物學的深刻理解、對方法的批判性評估，以及從不相關或不太可靠的發現中辨別出可靠發現的能力。科學家必須仔細解釋上下文，評估實驗證據的可靠性，并識別研究中潛在的偏見或局限性。鑒于支持疾病建模中關鍵決策的高精度需求，生物學發現必須僅包含高質量的知識。大語言模型 (LLM) 在集成到檢索增強生成 (RAG) 流程中時，為自動化和加速生物發現的管理提供了顛覆性的機會。通過優化從科學論文中提取見解的過程，LLM 顯著提高了這一過程的可擴展性。這些語言模型可以篩選的論文數量遠超任何個人可以手動審查的論文，并發現了更多的相關發現。 CytoReason 團隊是 NVIDIA Inception 計劃的成員，

]]>

13499

使用先進的開放式 NVIDIA Llama Nemotron 推理模型構建企業 AI 智能體 http://www.open-lab.net/zh-cn/blog/build-enterprise-ai-agents-with-advanced-open-nvidia-llama-nemotron-reasoning-models-2/ Tue, 08 Apr 2025 06:21:51 +0000 http://www.open-lab.net/zh-cn/blog/?p=13515 Continued]]> 此更新文章最初發布于 2025 年 3 月 18 日。企業組織正在采用 AI 智能體來提高生產力并簡化運營。為了更大限度地發揮影響，這些智能體需要強大的推理能力來解決復雜問題、發現隱藏的聯系，并在動態環境中自主做出邏輯決策。推理模型能夠解決復雜問題，因此已成為代理式 AI 生態系統的關鍵組成部分。通過使用長思考、Best-of-N 或自我驗證等技術，這些模型能夠更好地處理代理式流程不可或缺的推理密集型任務。從自動化客戶支持到優化供應鏈和執行財務戰略，推理模型正在為各種應用提供支持。在物流領域，它們通過模擬假設場景 (例如在貨物中斷期間改變路線) 來提高效率。在科學研究中，它們有助于假設生成和多步驟解決問題。在醫療保健領域，它們可增強診斷和治療規劃。通過實現精確的邏輯推理，這些模型正在推動各行各業提供更可靠、更可擴展的 AI 解決方案。

]]>

13515

使用 GPU 加速 Apache Spark 上的 Apache Parquet 掃描 http://www.open-lab.net/zh-cn/blog/accelerating-apache-parquet-scans-on-apache-spark-with-gpus/ Thu, 03 Apr 2025 06:40:51 +0000 http://www.open-lab.net/zh-cn/blog/?p=13530 Continued]]> 隨著各行各業企業的數據規模不斷增長， Apache Parquet 已成為一種重要的數據存儲格式。Apache Parquet 是一種列式存儲格式，專為大規模高效數據處理而設計。通過按列 (而非行) 組織數據，Parquet 可實現高性能查詢和分析，因為它可以只讀取查詢所需的列，而無需掃描整行數據。Parquet 的高效數據布局使其成為現代分析生態系統中的熱門選擇，特別是在 Apache Spark 工作負載方面。基于 cuDF 構建的 RAPIDS Accelerator for Apache Spark 支持 Parquet 作為一種數據格式，用于在 GPU 上以加速方式讀取和寫入數據。對于許多數據輸入大小以 TB 為單位的大規模 Spark 工作負載，高效的 Parquet 掃描對于實現良好的運行時性能至關重要。在本文中，

]]>

13530

借助 NVIDIA Parabricks 和 NVIDIA AI Blueprints，將基因組學和單細胞分析時間縮短至幾分鐘 http://www.open-lab.net/zh-cn/blog/shrink-genomics-and-single-cell-analysis-time-to-minutes-with-nvidia-parabricks-and-nvidia-blueprints/ Fri, 21 Mar 2025 09:13:19 +0000 http://www.open-lab.net/zh-cn/blog/?p=13269 Continued]]> NVIDIA Parabricks 是一款可擴展的基因組學分析軟件套件，通過加速計算和深度學習解決 omics 挑戰，實現新的科學突破。 NVIDIA Parabricks v4.5 在 NVIDIA GTC 2025 上發布，通過支持最新的 NVIDIA GPU 架構，并通過結合使用 Giraffe 和 DeepVariant 來改進對齊和變體識別，從而支持不斷增長的數據量。該版本還包括改進的功能，并縮短了跨多個行業領先工具 (包括 STAR、FQ2BAM 和 Minimap2) 的分析時間。 Parabricks v4.5 隨附用于基因組學和單細胞分析的全新 NVIDIA AI Blueprints，使生物信息學家和基因組學平臺提供商能夠輕松部署和測試 NVIDIA Parabricks 和 NVIDIA RAPIDS，而無需本地 GPU 或自管理云配置。通過擴展可訪問性，

]]>

13269

使用 NVIDIA Holoscan 3.0 中的動態流控制輕松構建邊緣 AI 應用 http://www.open-lab.net/zh-cn/blog/easily-build-edge-ai-apps-with-dynamic-flow-control-in-nvidia-holoscan-3-0/ Thu, 20 Mar 2025 08:20:15 +0000 http://www.open-lab.net/zh-cn/blog/?p=13248 Continued]]> NVIDIA 在 GTC 2025 上宣布推出實時 AI 傳感器處理平臺 NVIDIA Holoscan 3.0 。這個最新版本提供動態流控制，使開發者能夠設計更強大、更可擴展和更高效的系統。隨著物理 AI 的快速發展，Holoscan 3.0 專為適應而構建，使其能夠比以往更輕松地應對當今動態環境的挑戰。無論您使用的是醫學成像、機器人還是工業傳感器，Holoscan 3.0 都可以更輕松地在邊緣高效處理 AI 工作負載。本文將介紹 Holoscan 3.0 版本中的更新和功能，包括： NVIDIA Holoscan 3.0 引入了 NVIDIA Holoscan SDK 的重大升級，具有動態流控制。借助此功能，您現在可以在運行時修改工作流中的 operator 連接，從而實現更靈活、更具適應性的工作流。與使用固定連接的傳統靜態管道不同，此功能支持動態路由、

]]>

13248

借助 NVIDIA TensorRT-LLM 提升 Microsoft Azure AI Foundry 的 Llama 模型性能 http://www.open-lab.net/zh-cn/blog/boost-llama-model-performance-on-microsoft-azure-ai-foundry-with-nvidia-tensorrt-llm/ Thu, 20 Mar 2025 08:16:07 +0000 http://www.open-lab.net/zh-cn/blog/?p=13245 Continued]]> 微軟與 NVIDIA 合作，宣布在其 Azure AI Foundry 平臺上實現 Meta Llama 系列模型的變革性性能提升。這些進步由 NVIDIA TensorRT-LLM 優化提供支持，在保持模型輸出質量的同時，顯著提高了吞吐量、降低了延遲并提高了成本效益。通過這些改進，Azure AI Foundry 客戶可以實現顯著的吞吐量提升：在模型目錄中的無服務器部署 (Model-as-a-Service) 產品中，Llama 3.3 70B 和 Llama 3.1 70B 模型的吞吐量提高 45%，Llama 3.1 8B 模型的吞吐量提高 34%。更快的令牌生成速度和更低的延遲使聊天機器人、虛擬助理和自動化客戶支持等實時應用程序的響應速度更快、效率更高。這轉化為更好的價格-性能比率，顯著降低了由 LLM 驅動的應用的每個 token 的成本。

]]>

13245

利用 Oracles 和實驗反饋指導生成式分子設計 http://www.open-lab.net/zh-cn/blog/guiding-generative-molecular-design-with-experimental-feedback-using-oracles/ Wed, 19 Mar 2025 08:56:53 +0000 http://www.open-lab.net/zh-cn/blog/?p=13266 Continued]]> AI 生成化學有可能徹底改變科學家在藥物研發、健康以及材料科學和工程領域的工作方式。研究人員無需借助“化學直覺”手動設計分子或篩選數百萬種現有化學物質，而是可以訓練神經網絡來提出適合所需特性的新型分子結構。這種能力開辟了廣闊的化學空間，這是以前無法系統探索的。雖然一些早期成功表明，生成式 AI 有望通過提出化學家可能沒有考慮過的創造性解決方案來加速創新，但這些成功只是一個開始。生成式 AI 還不是分子設計的靈丹妙藥，將 AI 建議的分子轉化為現實世界通常比一些標題所顯示的困難得多。虛擬設計與現實世界影響之間的差距是當今 AI 驅動的分子設計面臨的核心挑戰。計算生成式化學模型需要實驗反饋和分子模擬來確認其設計的分子是否穩定、可合成且具有功能性。與自駕駛汽車一樣，AI 必須經過真實駕駛數據或高保真模擬的訓練和驗證，才能在不可預測的道路上行駛。

]]>

13266

MONAI 集成先進的代理式架構，建立多模態醫療 AI 生態系統 http://www.open-lab.net/zh-cn/blog/monai-integrates-advanced-agentic-architectures-to-establish-multimodal-medical-ai-ecosystem/ Wed, 19 Mar 2025 08:50:12 +0000 http://www.open-lab.net/zh-cn/blog/?p=13263 Continued]]> 醫療數據的數量和復雜性不斷增加，以及對早期疾病診斷和提高醫療效率的迫切需求，正在推動醫療 AI 取得前所未有的進步。該領域最具變革性的創新包括同時處理文本、圖像和視頻的多模態 AI 模型。與傳統的單模態系統相比，這些模型能夠更全面地理解患者數據。 MONAI 是發展最快的開源醫學影像框架，它正在不斷發展，以集成強大的多模態模型，從而徹底改變臨床工作流程和診斷精度。在過去五年中，MONAI 已成為領先的醫療 AI 平臺，也是影像 AI 研究的事實框架。它的下載量超過 4.5 萬次，出現在 3,000 多篇已發表的論文中。本文介紹了 MONAI 如何利用先進的代理式 AI (自主、工作流驅動的推理) ，將其從成像擴展到多模態生態系統。該生態系統集成了從 CT 和 MRI 到 EHR 和臨床文檔的各種醫療健康數據，以推動放射學、外科和病理學領域的研究開發和創新。

]]>

13263

NVIDIA Aerial Omniverse 數字孿生提升AI原生無線開發和靈活部署能力 http://www.open-lab.net/zh-cn/blog/nvidia-aerial-omniverse-digital-twin-boosts-development-of-ai-native-wireless-and-deployment-flexibility/ Wed, 19 Mar 2025 08:43:19 +0000 http://www.open-lab.net/zh-cn/blog/?p=13260 Continued]]> 在 AI 與先進 5G 和即將推出的 6G 技術融合的推動下，無線行業正處于轉型的邊緣，這些技術可為數十億 AI 驅動的端點提供無與倫比的速度、超低延遲和無縫連接。具體而言，6G 將采用 AI 原生技術，實現集成感知和通信，支持擴展現實和全息接口等沉浸式技術，并借助 AI 將網絡性能、頻譜效率和能效提升到新的水平。要充分發揮 AI 原生 5G 和 6G 無線網絡的潛力，需要在網絡設計、仿真、部署和測試方面采用創新方法。在 NVIDIA GTC 2024 大會上，我們推出了 Aerial Omniverse 數字孿生 (AODT) ，這是一個使用 NVIDIA Omniverse 構建的 AI 原生數字孿生平臺，專為 5G 和 6G 無線系統的前沿研究和開發 (R&D) 而設計。 AODT 的主要特性包括：今年，我們宣布擴展 AODT 功能，

]]>

13260

NVIDIA Earth-2 為阿聯酋的區域 AI 天氣預報提供支持 http://www.open-lab.net/zh-cn/blog/nvidia-earth-2-powers-regional-ai-weather-forecasting-in-the-united-arab-emirates/ Wed, 19 Mar 2025 08:39:11 +0000 http://www.open-lab.net/zh-cn/blog/?p=13257 Continued]]> 在阿聯酋 (UAE) ，極端天氣事件破壞日常生活、延誤航班、危及交通并使城市規劃復雜化。白天的高溫限制了人類在戶外的活動，而濃霧則是導致嚴重且往往致命的車禍的常見原因。與此同時，2024 年是該國 75 年來最強烈的降水事件，在通常干旱的地區引發了嚴重的洪水。 G42 是一家總部位于阿聯酋的領先 AI 和云計算公司，開發了先進的區域生成式 AI 預測系統，能夠以高達 200 米的分辨率預測阿聯酋的各種氣象事件。在本文中，我們展示了 G42 如何使用 NVIDIA GPUs 和 Earth-2 平臺構建此系統。在阿聯酋，區域天氣預報在應對極端天氣事件（例如暴雨、濃霧、沙塵暴和酷熱）帶來的挑戰方面發揮著至關重要的作用，這些事件可能會造成基礎設施損壞，并破壞交通、物流和公共安全。除了這些緊迫的問題之外，局部天氣預報對于能源轉型也至關重要，因為它可以為將可再生能源納入電網提供信息，

]]>

13257

人人超碰97caoporen国产