Launchpad – NVIDIA 技術博客

Launchpad – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Thu, 12 Dec 2024 04:08:26 +0000 zh-CN hourly 1 196178272 Cyborg 和 RAPIDS cuVS 實現矢量搜索機密性保護 http://www.open-lab.net/zh-cn/blog/bringing-confidentiality-to-vector-search-with-cyborg-and-rapids-cuvs/ Thu, 15 Aug 2024 09:04:13 +0000 http://www.open-lab.net/zh-cn/blog/?p=11052 Continued]]> 在生成式 AI 時代，向量數據庫對于高效存儲和查詢高維數據已變得不可或缺。但是，與所有數據庫一樣，向量數據庫容易受到一系列攻擊，包括網絡威脅、網絡釣魚嘗試和未經授權的訪問。鑒于這些數據庫通常包含敏感和機密信息，這一漏洞尤其重要。為了解決這一關鍵問題，Cyborg 與 NVIDIA 合作，使用 RAPIDS cuVS 庫增強向量數據庫的安全性。RAPIDS cuVS 庫是一個開源工具包，可使用先進的算法加速向量搜索。這項合作旨在為 Cyborg 的加密向量搜索引擎提供 NVIDIA 的 GPU 加速，在不影響性能的情況下確保強大的安全性。向量數據庫是現代數據密集型應用程序的基石，為從檢索增強生成（RAG）流程到推薦系統的所有內容提供支持。這些數據庫的高性能索引構建和搜索功能使其對此類應用程序至關重要，但其存儲的數據的價值使其成為惡意攻擊和漏洞的熱門目標。

]]>

11052

NVIDIA 語音和翻譯 AI 模型在速度和準確性方面創下記錄 http://www.open-lab.net/zh-cn/blog/nvidia-speech-and-translation-ai-models-set-records-for-speed-and-accuracy/ Tue, 19 Mar 2024 06:06:09 +0000 http://www.open-lab.net/zh-cn/blog/?p=9349 Continued]]> NVIDIA 開發的語音和翻譯 AI 模型正在推動性能和創新的發展。NVIDIA Parakeet 自動語音識別 (ASR) 模型系列以及 NVIDIA Canary 多語種、多任務 ASR 和翻譯模型在 Hugging Face 開放 ASR 排行榜上表現出色。此外，多語種 P-Flow 基于文本轉語音 (TTS) 的模型在 LIMMITS 的 24 項挑戰中取得了優異成績，使用簡短的音頻片段將說話者的聲音合成為 7 種語言。本文詳細介紹了其中一些出色的模型如何在語音和翻譯 AI (從語音識別到自定義語音創建) 領域開辟新天地。 NVIDIA Parakeet 模型系列包括 Parakeet CTC 1.1 B, Parakeet CTC 0.6 B, Parakeet RNNT 1.1 B, Parakeet RNNT 0.6 B 以及 Parakeet-TDT…

]]>

9349

構建 LLM 支持的數據代理以進行數據分析 http://www.open-lab.net/zh-cn/blog/build-an-llm-powered-data-agent-for-data-analysis/ Tue, 20 Feb 2024 05:19:12 +0000 http://www.open-lab.net/zh-cn/blog/?p=8952 Continued]]> AI 智能體是一個由規劃功能、內存和工具組成的系統，用于執行用戶請求的任務。對于數據分析或與復雜系統交互等復雜任務，您的應用可能依賴于不同類型智能體之間的協作。有關更多背景信息，請參閱 LLM 智能體簡介和構建您的首個 LLM 智能體應用。本文介紹了構建準確的 LLM 應用(可在查詢時處理細致入微的數據分析任務)所需的代理類型。本文將介紹構建數據分析代理應用(包括代碼片段)的示例用例。最后，本文將介紹 AI 開發者在優化和構建 LLM 代理應用時需要考慮的一些注意事項。首先，本節介紹兩種主要類型的 LLM 代理及其工作原理 – 數據代理和 API 或執行代理。我還將介紹代理集群用例，其中涉及多個代理合作解決問題。請注意，這些代理類型在某種程度上代表頻譜的端部。可以為特定用例創建混合的專用代理。數據代理通常專為提取目標而設計。換言之，

]]>

8952

體驗 NVIDIA cuOpt 加速優化，提高運營效率 http://www.open-lab.net/zh-cn/blog/experience-nvidia-cuopt-accelerated-optimization-to-boost-operational-efficiency/ Mon, 19 Feb 2024 05:47:34 +0000 http://www.open-lab.net/zh-cn/blog/?p=8957 Continued]]> 本周的 Model Monday 版本亮點是 NVIDIA cuOpt，這是一款創新的加速優化引擎，專為幫助團隊解決復雜的路線規劃問題而設計。它為組織提供了重塑物流、運營研究、運輸和供應鏈優化的能力。NVIDIA cuOpt 支持多種物流優化用例，包括：最終，cuOpt 可以幫助組織增加收入、降低成本并提高客戶滿意度。本文介紹了兩種探索 cuOpt 功能的方法：使用 NVIDIA AI 基礎模型和端點，以及使用 NVIDIA LaunchPad。 NVIDIA AI 基礎模型針對企業生成式 AI 進行了優化。您可以與NVIDIA cuOpt通過 API 和基于用戶界面的演示使用樣本數據。這是一個開放訪問平臺，可在托管環境中使用，因此您不需要使用具有 GPU 加速功能的服務器。即使對于那些可能不熟悉優化的人來說，也很容易開始使用 cuOpt.

]]>

8957

使用 NVIDIA Triton 管理服務擴展深度學習部署 http://www.open-lab.net/zh-cn/blog/scaling-deep-learning-deployments-with-nvidia-triton-management-service/ Tue, 12 Sep 2023 09:47:22 +0000 http://www.open-lab.net/zh-cn/blog/?p=7858 Continued]]> 組織正在以前所未有的速度將機器學習（ML）集成到整個系統和產品中。他們正在尋找解決方案，以幫助處理在生產規模部署模型的復雜性。 NVIDIA Triton Management Service (TMS) 是 NVIDIA AI Enterprise 獨家提供的一款新產品，有助于實現這一目標。具體來說，它有助于管理和協調一支由 NVIDIA Triton Inference Servers 在 Kubernetes 集群中運行的團隊。TMS 使用戶能夠擴展其 NVIDIA Triton 部署，以高效地處理各種各樣的工作負載。它還改善了開發人員協調所需資源和工具的體驗。本文探討了開發人員和 MLOps 團隊在大規模部署模型時面臨的一些最常見的挑戰，以及 NVIDIA Triton 管理服務如何解決這些挑戰。任何規模的模型部署都會帶來一系列挑戰。

]]>

7858

中歐和東歐創業成功指南 http://www.open-lab.net/zh-cn/blog/a-startups-guide-to-success-in-central-and-eastern-europe/ Wed, 03 May 2023 01:58:09 +0000 http://www.open-lab.net/zh-cn/blog/?p=6836 Continued]]> 中東歐作為世界上最重要的新興技術生態系統之一，正在迅速獲得認可。在過去幾年里，高技能的勞動力、政府的支持、與關鍵市場的接近以及創業史都是導致該地區資金大幅增加的因素。反過來，資金的增加導致幾乎每個垂直領域都有數十家充滿活力和競爭力的初創公司。但該地區的初創企業面臨著一些獨特的挑戰。與鄰近市場的高度競爭、吸引外國投資者的困難以及人才外流都是該地區初創企業必須克服的獨特變量。如果被忽視或處理不當，這些挑戰最終可能會對渴望在全球科技行業取得成功的創新型新公司造成致命影響。這個中歐和東歐創業成功指南GTC 會議強調了該地區初創企業面臨的最大挑戰，并邀請行業專家提供如何克服這些挑戰的技巧。由于 YouTube 的服務條款， Dominik 的視頻在 NVIDIA 點播會話回放中不可用，所以我將其包含在本文中。我們建議查看整個會話以獲得見解，但以下是亮點：

]]>

6836

借助 NVIDIA AI Enterprise 3.1 將企業推向人工智能的前沿 http://www.open-lab.net/zh-cn/blog/catapulting-enterprises-to-the-leading-edge-of-ai-with-ai-enterprise-3-1/ Tue, 21 Mar 2023 07:16:28 +0000 http://www.open-lab.net/zh-cn/blog/?p=6555 Continued]]> 生成人工智能標志著人工智能革命歷程中的一個重要里程碑。我們正處于一個根本性的轉折點，企業不僅要涉足其中，還要深入其中。 NVIDIA 人工智能平臺的軟件層 NVIDIA AI Enterprise 擁有 50 多個框架、預訓練的模型和開發工具，旨在加速企業進入人工智能的前沿，同時簡化人工智能，使每個企業都能訪問它。另一個令人興奮的消息是宣布了一項 AT&T Corp. 與 NVIDIA 之間的合作， AT & T 將繼續通過使用 NVIDIA 提供的人工智能來改變其運營并增強可持續性。這包括使用 NVIDIA AI Enterprise 軟件套件增強其數據處理，該軟件套件現在包括 NVIDIA RAPIDS Accelerator for Apache Spark 。在 2023 年的 NVIDIA GTC 2023 上，

]]>

6555

將數據中心管理功能推向邊緣 http://www.open-lab.net/zh-cn/blog/bringing-data-center-management-features-to-the-edge/ Mon, 23 Jan 2023 08:58:07 +0000 http://www.open-lab.net/zh-cn/blog/?p=6145 Continued]]> NVIDIA Fleet Command 宣布了新功能，為 IT 管理員提供了更高級的控制和邊緣環境保護。與傳統數據中心在單個位置有數百臺服務器不同，邊緣部署在數千個位置有一臺或兩臺服務器。傳統的 IT 管理工具很難滿足這些分布式環境的需求，尤其是在人工智能方面。 Fleet Command 是專門為管理邊緣 AI 環境而構建的，為容器編排提供了一個簡單、受管理的平臺。這使得從單個基于云的控制臺在數千個分布式環境中安全地調配和部署 AI 應用程序和系統變得容易。視頻 1 。任何技能級別的管理員都可以在幾分鐘內跨其邊緣基礎設施部署 AI 憑借用于管理邊緣環境的更強大的選項和工具， Fleet Command 現在提供了高級功能，包括邊緣群集的高可用性、高級存儲定制、安全的應用程序通信隧道和零停機管理更新。

]]>

6145

在構建或購買邊緣管理平臺時評估隱藏成本 http://www.open-lab.net/zh-cn/blog/evaluating-hidden-costs-when-building-or-buying-an-edge-management-platform/ Tue, 20 Dec 2022 05:55:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=5866 Continued]]> 邊緣計算和邊緣人工智能正在推動業務流程的數字化轉型。但是，作為一個不斷發展的領域，關于邊緣管理平臺到底需要什么，還有很多問題。與云計算相比，邊緣計算的優勢包括實時響應的低延遲、使用局域網獲得更高帶寬以及存儲成本更低。然而，邊緣節點的分布式性質會使管理邊緣 AI 變得復雜和具有挑戰性。從不同位置收集見解、安裝硬件、部署軟件以及在各個節點維護升級時，可能會耗時且成本高昂。集中管理平臺是公司邊緣 AI 解決方案的關鍵組成部分。這使組織能夠在邊緣部署和管理行業應用程序，自動化管理任務，分配計算資源，通過無線方式更新系統軟件，并監控位置。然而，構成邊緣 AI 管理解決方案的整個堆棧是復雜的，這使得是否構建或購買邊緣管理平臺的問題變得異常困難。在這篇文章中，我列出了在評估貴公司的人工智能邊緣解決方案時需要考慮的一些最重要因素。要開始，請考慮問以下問題：

]]>

5866

使用 NVIDIA LaunchPad 在 NVIDIA BlueField DPU 上直接訪問 VMware 的 vSphere http://www.open-lab.net/zh-cn/blog/hands-on-access-to-vmwares-vsphere-on-nvidia-bluefield-dpus-with-nvidia-launchpad/ Tue, 30 Aug 2022 02:35:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4986 Continued]]> 越來越多地采用云本地工作負載正在導致基礎架構發生重大變化，以支持 AI 和大數據等下一代應用程序。基礎架構必須不斷發展，以使用虛擬化、容器或裸機服務器提供可組合性和靈活性。傳統的軟件定義基礎架構提供了靈活性，但受到性能和可擴展性的限制，因為多達 30% 的服務器 CPU 核心可能會被網絡、存儲和安全等工作負載消耗。 VMware 將此視為增強 vSphere 基礎架構的一個機會，并對其進行了重新設計，以采用基于硬件的分解方法。基礎設施軟件堆棧現在與硬件堆棧緊密耦合。結果是 VMware vSphere 分布式服務引擎 ( VMware 項目 Monterey ) ，它與 NVIDIA BlueField DPU 為數據中心、云和邊緣提供演進的體系結構方法。它解決了下一代和云本機工作負載不斷變化的需求。為了幫助組織在 BlueField DPU 上測試…

]]>

4986

通過集成 MLOps 平臺和邊緣解決方案打破數據孤島 http://www.open-lab.net/zh-cn/blog/breaking-data-silos-by-integrating-mlops-platforms-and-edge-solutions/ Wed, 13 Jul 2022 05:33:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4591 Continued]]> 人工智能和物聯網的融合將數據重心從云轉移到了網絡邊緣。在零售店、工廠、履行中心和其他分布式位置，數千個傳感器正在收集數 PB 的數據，為創新人工智能用例的洞察提供動力。因為最有價值的見解是在邊緣產生的，所以組織很快采用了新技術和流程，以更好地利用這一新的重心。采用的主要技術之一是邊緣計算，即將應用程序的計算能力帶到傳感器收集信息的同一物理位置的過程。當這種計算方法用于在邊緣為人工智能應用程序供電時，它被稱為 edge AI 。為了確保這些獲取有價值見解的邊緣位置不存在于孤立的筒倉中，各組織正越來越多地將其邊緣計算解決方案集成到其現有工作流中，以開發、測試和優化應用程序。通過從開發過程到部署過程的無縫路徑，團隊能夠同時對應用程序在生產環境中的運行方式有很強的可見性，同時還可以利用應用程序在邊緣位置收集的數據和見解。

]]>

4591

提高 Kubernetes 的 GPU 利用率 http://www.open-lab.net/zh-cn/blog/improving-gpu-utilization-in-kubernetes/ Thu, 16 Jun 2022 06:14:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4331 Continued]]> 為了實現可擴展的數據中心性能， NVIDIA GPU 已成為必備產品。 NVIDIA GPU 由數千個計算核支持的并行處理能力對于加速不同行業的各種應用至關重要。目前，跨多個行業的計算密集型應用程序使用 GPU ：此范圍內的不同應用程序可能有不同的計算要求。訓練巨型人工智能模型，其中 GPU 批處理并行處理數百個數據樣本，使 GPU 在訓練過程中得到充分利用。然而，許多其他應用程序類型可能只需要 GPU 計算的一小部分，從而導致大量計算能力的利用不足。在這種情況下，為每個工作負載提供適當大小的 GPU 加速是提高利用率和降低部署運營成本的關鍵，無論是在本地還是在云中。為了解決 Kubernetes （ K8s ）集群中 GPU 利用率的挑戰， NVIDIA 提供了多種 GPU 并發和共享機制，以適應廣泛的用例。最新添加的是新的 GPU 時間切片 API ，

]]>

4331

開始使用 Edge AI 的步驟 http://www.open-lab.net/zh-cn/blog/steps-to-getting-started-with-edge-ai-2/ Mon, 16 May 2022 06:21:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4505 Continued]]> 受疫情、對更高效業務流程的需求以及物聯網（IoT）、5G和人工智能的關鍵進步的推動，對 edge computing 的需求比以往任何時候都高。在2021 5月的一個由 IBM 發布的調查中，94%的受訪高管表示，他們的組織將在未來5年內實施邊緣計算。 Edge AI 是邊緣計算和人工智能的結合，是軟件定義業務的關鍵部分。從智能醫院和城市到無現金商店，再到自動駕駛汽車，所有這些都由運行在邊緣的人工智能應用程序提供動力。用人工智能驅動的商業轉型處于邊緣，這只是一種轉型，這意味著它可能很復雜。無論您是在啟動第一個人工智能項目，還是在查看基礎設施藍圖和擴展，這五個步驟都將幫助您的 edge 人工智能項目取得成功。在開始使用 edge AI 時，重要的是確定正確的用例，無論是為了提高運營效率、財務影響還是社會倡議。例如，

]]>

4505

開始使用 Edge AI 的步驟 http://www.open-lab.net/zh-cn/blog/steps-to-getting-started-with-edge-ai/ Mon, 16 May 2022 05:46:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4013 Continued]]> 受疫情、對更高效業務流程的需求以及物聯網（IoT）、5G和人工智能的關鍵進步的推動，對邊緣計算的需求比以往任何時候都高。在2021 5月的一次（VZX4）調查中，94%的受訪高管表示，他們的組織將在未來5年內實施邊緣計算。 Edge AI 是邊緣計算和人工智能的結合，是軟件定義業務的關鍵部分。從智能醫院和城市到無現金商店，再到自動駕駛汽車，所有這些都由運行在邊緣的人工智能應用程序提供動力。用人工智能驅動的商業轉型處于邊緣，這只是一種轉型，這意味著它可能很復雜。無論您是在啟動第一個人工智能項目，還是在查看基礎設施藍圖和擴展，這五個步驟都將幫助您的 edge 人工智能項目取得成功。在開始使用 edge AI 時，重要的是確定正確的用例，無論是為了提高運營效率、財務影響還是社會倡議。例如，

]]>

4013

通過新的 NVIDIA AI 企業集成擴展虛擬化數據中心中的混合云支持 http://www.open-lab.net/zh-cn/blog/expanding-hybrid-cloud-support-in-virtualized-data-centers-with-new-nvidia-ai-enterprise-integrations/ Mon, 14 Mar 2022 10:15:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=3314 Continued]]> 新的一年已經有了一個很好的開端， NVIDIA AI Enterprise 1.1 使用 VMware vSphere 與 Tanzu 7.0 Update 3c 為容器編排和 Kubernetes 群集管理提供生產支持，為 VMs 、容器或 Kubernetes 中的每個企業提供 AI / ML 工作負載。可在 NVIDIA LaunchPad 上獲得針對 IT 管理員和 MLOP 的新 NVIDIA AI 企業實驗室：通過免費的 LaunchPad 計劃，企業可以快速開始在 VMware vSphere 上與 Tanzu 一起運行 NVIDIA 人工智能企業，該計劃提供對運行在私有加速計算基礎設施上的 NVIDIA AI 的即時、短期訪問。一個新添加的 Calabor 實驗室提供了使用 VMware Tanguu KubNeNETGrand 服務的經驗，

]]>

3314

人人超碰97caoporen国产