自然語言處理 (NLP) – NVIDIA 技術博客

制造業產品設計工作流程的生成式 AI 轉型

Thu, 20 Feb 2025 03:03:37 +0000

長期以來，制造行業的傳統設計和工程工作流程一直以順序迭代的方法為特征，這種方法通常既耗時又需要大量資源。這些傳統方法通常涉及需求收集、概念設計、詳細設計、分析、原型設計和測試等階段，每個階段都取決于之前迭代的結果。雖然這種結構化方法可以控制復雜的項目，但也存在重大挑戰。由于時間限制和資源可用性，工程師在設計探索中通常會面臨限制，導致項目時間延長和成本增加。物理測試的需求可能會導致更長的開發周期和更高的成本，在汽車和航空航天等行業中尤為如此。此外，傳統工作流程的順序性會導致效率低下，因為錯誤和更改僅在后期階段才能識別，從而導致成本高昂的修訂和延遲。設計和工程領域的 AI 通過提供更快速、更高效的創新解決方案，正在改變這些傳統工作流程。主要用例包括 AI 驅動的生成式設計，它使工程師能夠根據指定的參數和約束條件生成多個設計方案，從而減少物理迭代的需求，并顯著加速設計流程。

Source

]]>

掌握 LLM 技術：評估

Wed, 29 Jan 2025 05:34:32 +0000

評估大語言模型（LLMs）和檢索增強生成（RAG）系統是一個復雜而微妙的過程，反映了這些系統的復雜性和多面性。與傳統機器學習（ML）模型不同，LLMs 會生成各種不同且往往不可預測的輸出，因此無法滿足標準評估指標的需求。主要挑戰包括許多任務缺乏確定的真值、數據污染的風險，以及模型對提示變化和解碼策略的敏感度。此外，LLMs 通常會生成高質量的輸出，甚至可以超越低質量的人類引用，從而無法滿足基于引用的傳統指標的需求。在本文中，我們將探討用于評估 LLMs 和 RAG 系統準確性和可靠性的可靠評估技術和最佳實踐。在生成式 AI 應用的開發過程中，嚴格的評估對于確保系統有效性和可靠性至關重要。此過程具有多個關鍵功能，包括通過確認 AI 符合預期并提供有意義的交互來驗證用戶滿意度。評估還可確保輸出一致性，驗證生成的內容在邏輯上是否一致且符合上下文。

Source

]]>

NVIDIA NeMo Curator 實現高質量越南語數據處理

Tue, 19 Nov 2024 08:44:57 +0000

開源大語言模型（LLMs）在英語方面表現出色，但難以與其他語言（尤其是東南亞語言）搭配使用。這主要是由于缺乏這些語言的訓練數據、對當地文化的理解有限，以及 token 不足以捕捉獨特的語言結構和表達。為了充分滿足客戶需求，非英語國家地區的企業必須超越通用模型，并對其進行定制，以捕捉當地語言的細微差別，確保客戶體驗無縫且有影響力。在這篇博文中，我們將探討 Viettel Solutions （Viettel Corporation 快速發展的子公司）如何利用 NVIDIA NeMo Curator 處理高質量的越南語數據來訓練 Llama 3 ViettelSolution 8B，這是一種先進的 LLM，現在排名在 VMLU 排行榜的前列。NeMo Curator 是一款 GPU 加速的數據管護工具，可為預訓練 LLM 提供大規模、高質量的數據集。

Source

]]>

LLM 推理規模和性能優化的實踐策略

Wed, 21 Aug 2024 07:43:33 +0000

隨著聊天機器人和內容創建等許多應用越來越多地使用大型語言模型（LLM），了解擴展和優化推理系統的過程非常重要，以便就 LLM 推理的硬件和資源做出明智的決策。在接下來的一場演講中，NVIDIA 的高級深度學習解決方案架構師Dmitry Mironov 和 Sergio Perez 將指導您了解 LLM 推理規模的關鍵方面。他們分享了他們的專業知識、最佳實踐和技巧，并將指導您如何高效地處理部署和優化 LLM 推理項目的復雜性。請閱讀會議的 PDF，同時了解如何通過了解 LLM 推理規模中的關鍵指標為您的 AI 項目選擇正確的路徑。探索如何準確確定硬件和資源的規模、優化性能和成本，以及選擇最佳的部署策略，不論是在本地還是在云端。您還將介紹NVIDIA NeMo推理規模計算器（使用此NIM進行LLM基準測試指南復制）和NVIDIA Triton性能分析器等高級工具，

Source

]]>

利用 NVIDIA NeMo Curator 整理非英語數據集以訓練 LLM

Wed, 10 Jul 2024 06:36:23 +0000

數據管護在開發有效且公平的大型語言模型（LLMs）方面發揮著至關重要的作用。高質量、多樣化的訓練數據直接影響 LLMs 的性能，從而解決偏差、不一致和冗余等問題。通過管護高質量的數據集，我們可以確保 LLMs 準確、可靠且可泛化。在訓練本地化的多語種 LLM 時（尤其是針對低資源語言），像OSCAR這樣的網絡抓取數據至關重要。但是，網絡抓取數據通常包含噪聲、無關內容、重復數據和格式問題。有效的數據管護對于解決這些問題并確保高質量的 LLM 性能至關重要。 NVIDIA 最近發布了 NVIDIA NeMo Curator 的開源版本，這是一個數據 curation 庫，專為可擴展且高效的數據集準備而設計，通過使用 Dask 和 RAPIDS 的 GPU 加速數據 curation 來提高 LLM 訓練的準確性。NeMo Curator 提供可定制的模塊化界面，可簡化流程擴展，

Source

]]>

生成式 AI 智能體開發者競賽：入門技巧

Wed, 29 May 2024 06:34:26 +0000

參加我們將于 6 月 17 日結束的比賽，使用前沿技術展示您的創新成果：由生成式 AI 驅動的應用程序，該應用程序使用 NVIDIA 和 LangChain 技術。為了讓您開始，我們將探索一些用于激發您的創意之旅的應用程序，同時分享提示和最佳實踐，幫助您在開發過程中取得成功。生成式 AI 智能體有許多不同的實際應用。在之前的比賽中開發的智能體或 Copilot 應用會根據應用的隱私、安全和計算要求使用大型語言模型 (LLM) 或小型語言模型 (SLM)。這些示例包括：開發者可以在游戲、醫療健康、媒體和娛樂等領域創建用于內容生成的應用。其他選項包括總結、在醫療健康領域，客服人員可以通過分析患者癥狀、病史和臨床數據來幫助診斷疾病，例如問答環節。其中許多想法都適用于您的數據和您想要解決的問題 – 無論是使用客服改善每周的雜貨店購物，

Source

]]>

使用 NVIDIA NeMo 訓練本地化多語種 LLM，第 1 部分

Fri, 17 May 2024 05:22:06 +0000

在當今的全球化世界中，AI 系統理解和溝通不同語言的能力變得越來越重要。大型語言模型 (LLMs) 徹底改變了自然語言處理領域，使 AI 能夠生成類似人類的文本、回答問題和執行各種語言任務。然而，大多數主流 LLM 都在主要由英語組成的數據語料庫上進行訓練，從而限制了它們對其他語言和文化語境的適用性。這就是多語種 LLM 的價值所在：縮小語言差距，并釋放 AI 的潛力，使其惠及更廣泛的受眾。特別是，由于訓練數據有限以及東南亞 (SEA) 語言的獨特語言特性，當前最先進的 LLM 經常難以與這些語言進行交流。這導致與英語等高資源語言相比，性能較低。雖然一些 LLM 在一定程度上可以處理某些 SEA 語言，但仍然存在不一致、幻覺和安全問題。與此同時，人們對在東南亞開發本地化的多語種 LLM 有著濃厚的興趣和決心。一個值得注意的例子是，新加坡啟動了一項 7000 萬新元的計劃，

Source

]]>

使用 NVIDIA NeMo 訓練本地化多語種 LLM，第 2 部分

Fri, 17 May 2024 05:14:34 +0000

在第一部分中，我們討論了如何訓練單語分詞器，并將其與預訓練 LLM 的分詞器合并，以形成多語言分詞器。在本文中，我們將向您展示如何將自定義分詞器集成到預訓練 LLM，以及如何在 NVIDIA NeMo 中實現這一目標。開始之前，請先導入以下庫：合并后，組合分詞器的詞匯量大于 GPT-megatron-1.3 B 模型預訓練分詞器的詞匯量。這意味著您必須擴展 GPT – megatron – 1.3 B 模型的嵌入層，以適應組合分詞器 (圖 2)。關鍵步驟包括以下內容：然后，此擴展嵌入層會替換預訓練模型中的原始層，使其能夠以新語言處理其他標記，同時保留在初始預訓練過程中學習的知識。運行以下代碼以加載 GPT-megatron-1.3 B.nemo 模型：加載模型后，

Source

]]>