BERT – NVIDIA 技術博客

大型語言模型簡介：提示工程和 P 調優

Sun, 23 Apr 2023 04:54:48 +0000

ChatGPT 給人留下了深刻印象。用戶很樂意使用人工智能聊天機器人提問、寫詩、塑造互動角色、充當個人助理等等。大語言模型（ LLM ）為 ChatGPT 供電，這些模型就是本文的主題在更仔細地考慮 LLM 之前，我們首先想確定語言模型的作用。語言模型給出了一個單詞在單詞序列中有效的概率分布。從本質上講，語言模型的工作是預測哪個詞最適合一個句子。圖 1 提供了一個示例。雖然像 BERT 這樣的語言模型已經被有效地用于處理文本分類等許多下游任務，但已經觀察到，隨著這些模型規模的增加，某些額外的能力也會出現這種規模的增加通常伴隨著以下三個維度的相應增加：參數的數量、訓練數據和訓練模型所需的計算資源。有關詳細信息，請參閱Emergent Abilities of Large Language Models. LLM 是一種深度學習模型，可以使用大型數據集識別、

Source

]]>

通過 AI 的全棧優化在 MLPerf 推理 v3.0 中創下新紀錄

Wed, 05 Apr 2023 03:03:51 +0000

目前最令人興奮的計算應用程序依賴于在復雜的人工智能模型上進行訓練和運行推理，通常是在要求苛刻的實時部署場景中。需要高性能、加速的人工智能平臺來滿足這些應用程序的需求，并提供最佳的用戶體驗新的人工智能模型不斷被發明，以實現新的功能，而人工智能驅動的應用程序往往依賴于許多這樣的模型協同工作。這意味著人工智能平臺必須能夠運行最廣泛的工作負載，并在所有工作負載上提供優異的性能。MLPerf Inference– 現在， v3.0 的第七版是一套值得信賴的、經過同行評審的標準化推理性能測試，代表了許多這樣的人工智能模型。人工智能應用程序無處不在，從最大的超大規模數據中心到緊湊的邊緣設備。 MLPerf 推理同時代表數據中心和邊緣環境。它還代表了一系列真實世界的場景，如離線（批處理）處理、延遲受限的服務器、單流和多流場景。

Source

]]>

使用 Dataiku 和 NVIDIA Data Science 進行主題建模和圖像分類

Tue, 04 Apr 2023 03:09:47 +0000

這個Dataiku platform日常人工智能簡化了深度學習。用例影響深遠，從圖像分類到對象檢測和自然語言處理（ NLP ）。 Dataiku 可幫助您對代碼和代碼環境進行標記、模型培訓、可解釋性、模型部署以及集中管理。本文深入探討了用于圖像分類和對象檢測的高級 Dataiku 和 NVIDIA 集成。它還涵蓋了實時推理的深度學習模型部署以及如何使用開源RAPIDS和 cuML 庫，用于客戶支持 Tweet 主題建模用例。 NVIDIA 提供硬件 (NVIDIA A10 Tensor Core GPUs，在這種情況下）和各種 OSS(CUDA,RAPIDS) 完成工作請注意，本文中的所有 NVIDIA AI 軟件都可以通過NVIDIA AI Enterprise，一個用于生產人工智能的安全端到端軟件套件，由 NVIDIA 提供企業支持本節介紹使用 Dataiku 和…

Source

]]>

為 NVIDIA MLPerf Training v2.0 性能提供動力的全堆棧優化

Thu, 30 Jun 2022 02:02:00 +0000

MLPerf benchmarks 由工業界、學術界和研究實驗室的人工智能領導者組成的聯盟開發，旨在提供標準、公平和有用的深度學習性能測量。 MLPerf 訓練側重于測量時間，以便為以下任務訓練一系列常用的神經網絡：減少培訓時間對于加快部署時間、最小化總體擁有成本和最大化投資回報至關重要。然而，與平臺性能一樣重要的是它的多功能性。訓練每個模型的能力，以及提供基礎設施可替代性以運行從訓練到推理的所有人工智能工作負載的能力，對于使組織能夠最大限度地實現其基礎設施投資的回報至關重要。 NVIDIA platform 具有全堆棧創新和豐富的開發人員和應用程序生態系統，仍然是唯一提交所有八個 MLPerf 訓練測試結果，以及提交所有 MLPerf 推理和 MLPerf 高性能計算（ HPC ）測試結果的系統。在本文中，您將了解 NVIDIA 在整個堆棧中部署的方法，

Source

]]>