人工智能企業 – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Tue, 27 Feb 2024 23:07:19 +0000 zh-CN hourly 1 196178272 使用新的 NVIDIA AI 基礎模型生成代碼、回答查詢并翻譯文本 http://www.open-lab.net/zh-cn/blog/generate-code-answer-queries-and-translate-text-with-leading-generative-ai-models/ Mon, 05 Feb 2024 07:43:41 +0000 http://www.open-lab.net/zh-cn/blog/?p=8903 Continued]]> 本周的 Model Monday 版本包含 NVIDIA 優化的代碼 Lama、Kosmos-2 和 SeamlessM4T，您可以直接在瀏覽器中體驗。 通過NVIDIA AI 基礎模型和端點，您可以訪問由 NVIDIA 構建的一系列精選社區，生成式 AI用于在企業應用程序中體驗、自定義和部署的模型。 Meta 的 Code Llama 70B 是最新的先進代碼 LLM，專用于代碼生成。它基于 Llama 2 模型構建，提供更高的性能和適應性。該模型可以從自然語言生成代碼，在編程語言之間翻譯代碼，編寫單元測試，并協助調試。 Code Lama 70B 具有 10 萬個令牌的大上下文長度，因此能夠處理和生成時間更長、更復雜的代碼，這對于更全面的代碼生成和提高處理復雜編碼任務的性能非常重要。這種開源模型可用于代碼翻譯、匯總、文檔、分析和調試等各種應用。

Source

]]> 8903 借助 NVIDIA AI Enterprise 推進生產級 AI 發展 http://www.open-lab.net/zh-cn/blog/advancing-production-ai-with-nvidia-ai-enterprise/ Thu, 25 Jan 2024 04:22:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=8872 Continued]]> 盡管許多企業將利用人工智能的潛力作為優先事項，但開發和部署人工智能模型需要時間和精力。通常，必須克服將模型投入生產的挑戰，這對于任務關鍵型業務運營尤為重要。根據IDC 研究，只有 18% 的受訪企業能夠在一個月內將 AI 模型投入生產。 本文探討了降低 AI 部署速度的挑戰，并介紹了使用一致、安全且可靠的平臺加速將 AI 投入生產之旅的優勢。 開源軟件（OSS）在推動人工智能（AI）的采用方面發揮著至關重要的作用。根據2023 年 10 月的現狀報告，與生成式 AI 相關的公共 GitHub 項目在 2023 年達到了 65000 個，同比增長了 249%。盡管開源社區推動了 AI 時代的發展，但在構建 AI 應用程序中使用的各種 OSS 使得維護可靠的企業級 AI 軟件堆棧成為一項復雜且資源密集型的工作，類似于維護開源操作系統的難度。 例如，

Source

]]> 8872 借助 NVIDIA AI 軟件構建企業級 AI http://www.open-lab.net/zh-cn/blog/build-enterprise-grade-ai-with-nvidia-ai-software/ Wed, 24 Jan 2024 03:57:48 +0000 http://www.open-lab.net/zh-cn/blog/?p=8792 Continued]]> 在推出 ChatGPT 后，全球各地的企業開始意識到 AI 的優勢和功能，并競相將其應用到工作流程中。 隨著這種采用的加速，企業不僅必須跟上 AI 的快速發展，而且還必須解決優化、可擴展性和安全性等相關挑戰。 企業 AI 開發之旅通常從數據 ETL (提取、轉換、加載)階段開始，在此期間準備用于訓練的數據。接下來是訓練 AI 模型。模型完成訓練后，接下來的步驟包括部署和運行推理。企業需要在每個階段使用經過優化的安全軟件來構建生產就緒型 AI 應用。 NVIDIA NGC 目錄 通過以容器形式提供一系列 GPU 優化的軟件和 SDK，幫助企業加速其 AI 開發。 目錄中的一些熱門容器包括用于數據 ETL 階段的 RAPIDS，以及用于模型開發階段的 TensorFlow 和 PyTorch。此外，還有用于模型部署階段的 NVIDIA TensorRT 和…

Source

]]> 8792 借助 Metaflow 開發 ML 和 AI，并借助 NVIDIA Triton 推理服務器進行部署 http://www.open-lab.net/zh-cn/blog/develop-ml-ai-with-metaflow-deploy-with-triton-inference-server/ Fri, 05 Jan 2024 06:00:08 +0000 http://www.open-lab.net/zh-cn/blog/?p=8675 Continued]]> 將 ML 模型部署到生產環境的方法有很多。有時，模型每天運行一次，以更新數據庫中的預測。有時，它為移動設備上的小型但關鍵的決策控制面板或語音轉文本提供支持。如今，該模型也可以是自定義的大型語言模型 (LLM)，支持新的 AI 驅動的產品體驗。 通常情況下，模型通過帶有微服務的 API 端點暴露在其環境中，從而能夠實時查詢模型。雖然這聽起來很簡單，但由于通常有大量用于構建和部署微服務的框架，因此在嚴格的生產環境中服務模型并非易事。 請考慮以下典型挑戰(表 1)。 為全面應對這些挑戰，請考慮 ML 系統從開發的早期階段到部署(及后續)的整個生命周期。 雖然您可以通過為每個步驟采用單獨的工具來完成整個過程，但通過提供連接各個點的一致 API，可以實現更流暢的開發者體驗和更快的部署速度。 出于這一愿景，Netflix 于 2017 年開始開發名為…

Source

]]> 8675 掌握 LLM 技術：LLMOps http://www.open-lab.net/zh-cn/blog/mastering-llm-techniques-llmops/ Wed, 15 Nov 2023 06:39:19 +0000 http://www.open-lab.net/zh-cn/blog/?p=8242 Continued]]> 企業比以往更依賴數據和 AI 來創新、為客戶創造價值并保持競爭力。機器學習 (ML) 的采用催生了對工具、流程和組織原則的需求，這些需求是為了管理那些可靠、經濟高效且能夠大規模運行的代碼、數據和模型。這通常被稱為 機器學習操作（MLOps）。 世界正在迅速進入一個由基礎模型，尤其是大型語言模型 (LLM) 提供動力支持的新生成式 AI 時代。ChatGPT 的發布進一步加速了這一轉變。 生成式 AI 操作 (GenAIOps) 和大型語言模型操作 (LLMOps) 的新專業領域隨著 MLOps 的演變而出現，旨在解決在生產環境中開發和管理生成式 AI 和 LLM 驅動的應用所面臨的挑戰。 在本文中，我們概述了生成式 AI 應用開發之旅，定義了 GenAIOps 和 LLMOps 的概念，并將其與 MLOps 進行了比較。

Source

]]> 8242 NVIDIA AI Enterprise 4.0 推出，助力企業構建生產就緒的生成式 AI 為業務賦能 http://www.open-lab.net/zh-cn/blog/power-your-business-with-nvidia-ai-enterprise-4-0-for-production-ready-generative-ai/ Tue, 12 Sep 2023 05:30:28 +0000 http://www.open-lab.net/zh-cn/blog/?p=7883 Continued]]> 生成式 AI 已經跨越鴻溝并達到“ iPhone 時刻”，現在必須能夠擴展以滿足指數級增長的需求。可靠性和正常運行時間對于打造企業級生成式 AI 至關重要，尤其是當 AI 成為業務運轉的核心時。NVIDIA 正在將專業知識投入到解決方案的開發過程中，助力企業實現這樣的飛躍。 最新版 NVIDIA AI Enterprise 助力利用生成式 AI 進行創新的企業加速開發，為企業提供生產就緒型支持、可管理性、安全性和可靠性。 生成式 AI 模型具有數十億個參數，需要高效的數據訓練管道。訓練模型的復雜性、針對特定領域任務進行定制以及大規模部署模型都需要專業知識和計算資源。 NVIDIA AI Enterprise 4.0 包括 NVIDIA NeMo，這是一個端到端云原生框架，用于大規模數據管理、大語言模型的加速訓練和定制，以及在用戶首選平臺上優化推理。

Source

]]> 7883 利用 NVIDIA AI 企業在 Azure 機器學習上的力量 http://www.open-lab.net/zh-cn/blog/harnessing-the-power-of-nvidia-ai-enterprise-on-azure-machine-learning/ Fri, 02 Jun 2023 07:08:18 +0000 http://www.open-lab.net/zh-cn/blog/?p=7171 Continued]]> 人工智能正在改變行業，實現流程自動化，并在快速發展的技術格局中為創新開辟新的機會。隨著越來越多的企業認識到將人工智能融入運營的價值，他們面臨著高效、有效和可靠地實施這些技術的挑戰 NVIDIA AI Enterprise 是一個綜合軟件套件，旨在幫助組織大規模實施企業級 AI 、機器學習（ ML ）和數據分析，并提供安全性、可靠性、 API 穩定性和企業級支持。 部署人工智能解決方案可能很復雜，需要專門的硬件和軟件，以及開發和維護這些系統的專業知識。 NVIDIA AI Enterprise 通過提供針對企業環境量身定制的工具、庫、框架和支持服務的完整生態系統來應對這些挑戰 憑借 GPU – 加速計算能力， NVIDIA AI Enterprise 使企業能夠更高效、更經濟高效地大規模運行人工智能工作負載。 NVIDIA AI Enterprise 建立在…

Source

]]> 7171 Supermicro 和 NVIDIA 通過液冷開發平臺實現去中心化人工智能 http://www.open-lab.net/zh-cn/blog/decentralizing-ai-with-a-liquid-cooled-development-platform-by-supermicro-and-nvidia/ Wed, 31 May 2023 05:16:09 +0000 http://www.open-lab.net/zh-cn/blog/?p=7086 Continued]]> 人工智能是 2023 年全世界討論的話題。它正迅速被包括媒體、娛樂和廣播在內的所有行業所采用。為了在 2023 年及以后取得成功，公司和機構必須比以往任何時候都更快地接受和部署人工智能。視頻分析、 ChatGPT 、推薦器、語音識別和客戶服務等新人工智能程序的能力遠遠超過了幾年前認為可能的任何東西。 然而，根據研究，由于成本原因，只有不到一半的公司或機構成功部署了人工智能應用程序。另一半正在爭先恐后地確定如何準確地利用這種有點神秘的新軟件，這種軟件有望在世界上的每個行業提供競爭優勢。 2023 年 4 月，Supermicro推出了一個新系統，以幫助加快開發人員、新用戶和老用戶的人工智能工作負載部署。這個液冷開發平臺被稱為 Supermicro SYS-751GE-TRT-NV1 ，在當今世界上沒有類似的產品 硬件和軟件系統配有全套NVIDIA AI 企業框架、

Source

]]> 7086 宣布推出 NVIDIA DGX GH200 ：首款 100 兆字節 GPU 內存系統 http://www.open-lab.net/zh-cn/blog/announcing-nvidia-dgx-gh200-first-100-terabyte-gpu-memory-system/ Sun, 28 May 2023 05:54:54 +0000 http://www.open-lab.net/zh-cn/blog/?p=7111 Continued]]> 在COMPUTEX 2023， NVIDIA 宣布NVIDIA DGX GH200，這標志著 GPU 的又一突破——加速計算，為最苛刻的巨型人工智能工作負載提供動力。除了描述 NVIDIA DGX GH200 體系結構的關鍵方面外，本文還討論了如何使用NVIDIA Base Command實現快速部署，加快用戶入職，并簡化系統管理。 GPU 的統一內存編程模型是過去 7 年來復雜加速計算應用取得各種突破的基石。 2016 年， NVIDIA 推出NVLink技術和帶有 CUDA-6 的統一內存編程模型，旨在增加 GPU 加速工作負載的可用內存。 從那時起，每個 DGX 系統的核心都是與 NVLink 互連的基板上的 GPU 復合體，其中每個 GPU 可以以 NVLink 的速度訪問另一個的存儲器。許多具有 GPU 復合體的 DGX 通過高速網絡互連，形成更大的超級計算機，

Source

]]> 7111 人人超碰97caoporen国产