云 API – NVIDIA 技術博客

區域 LLM SEA-LION 和 SeaLLM 服務于東南亞的語言和文化

Mon, 13 May 2024 07:11:40 +0000

在最近于迪拜舉行的世界各國政府首腦會議上，NVIDIA 首席執行官黃仁勛強調了主權人工智能的重要性，即一個國家開發和部署人工智能技術的能力。當前，各國已經開始構建區域大型語言模型（LLM），將其文化、歷史和智力編纂成文，并利用生成人工智能的優勢為公民提供服務。 NVIDIA 近期優化并托管了兩個開放的區域語言模型，分別是 SeaLLM 和 SEA-LION，現在這些模型已經可以通過 NVIDIA API 產品目錄獲取。這個 SeaLLM 模型標志著我們在開發更具包容性和區域定制的人工智能技術方面取得了重大進展，該模型專門針對東南亞不同的語言和文化差異進行了定制。 SeaLLM 由阿里巴巴開發，以 Llama 2 為基礎，經過廣泛的預訓練。它包含了擴展的詞匯、專業指導和調整，以更好地掌握地區語言的復雜性。這使模型能夠尊重和反映當地的文化習俗、風俗習慣、

Source

]]>

用于 SQL 和代碼生成的新 LLM:Snowflake Arctic 模型

Fri, 26 Apr 2024 09:06:33 +0000

近年來，大型語言模型（LLM）徹底改變了自然語言處理（NLP），實現了文本摘要、問答和自然語言生成等廣泛的應用。由 Snowflake 開發的 Arctic 是一種新的開放 LLM，旨在實現高推理性能，同時在各種 NLP 任務上保持低成本。 Arctic Arctic 基于一種新的密集 MoE（專家混合物）混合變壓器架構，該架構將 10B 參數密集變壓器模型與殘差 128×3.66B MoE 多層感知器（MLP）相結合，從而有效地隱藏普通 MoE 模型在計算過程中施加的額外全對全通信開銷。這樣，該體系結構能夠在訓練和推理過程中更有效地使用資源。由此產生的網絡具有 480B 的總參數，并使用前 2 個門控讓專家選擇 17B 的活動參數。通過利用大量專家和總參數，該體系結構允許頂級智能，同時從許多但精簡的專家中進行選擇，僅使用適量的活動參數進行訓練和具有成本效益的推理。

Source

]]>

Mistral Large 和 Mixtral 8x22B LLM 現已由 NVIDIA NIM 和 NVIDIA API 提供支持

Mon, 22 Apr 2024 04:56:57 +0000

本周發布的模型包括兩個新的 NVIDIA AI 基礎模型：Mistral Large 和 Mixtral 8x22B。這兩個高級文本生成 AI 模型由 Mistral AI 開發，并通過 NVIDIA NIM 微服務提供預構建容器，以簡化部署過程，將部署時間從數周縮短到幾分鐘。這兩個模型可通過 NVIDIA API 目錄訪問。 Mistral Large 是大型語言模型 (LLM)，它擅長處理復雜的多語種推理任務，包括文本理解、轉換和代碼生成。它因精通英語、法語、西班牙語、德語和意大利語以及對語法和文化語境的深入理解而脫穎而出。該模型具有 32K 令牌上下文窗口，可從大量文檔中調用精確信息。它在指令跟隨和函數調用方面表現出色。Mistral Large 在各種基準測試中表現強勁，并展示了應對編碼和數學挑戰的強大推理能力。

Source

]]>

借助 NVIDIA Holoscan for Media 中的新功能簡化直播媒體應用程序開發

Tue, 12 Mar 2024 06:09:09 +0000

適用于媒體的 NVIDIA Holoscan 是一個軟件定義的平臺，用于構建和部署適用于直播媒體的應用程序。最近的更新引入了用戶友好的開發者界面和應用程序部署到平臺的新功能。適用于媒體的 Holoscan 現在包括 Helm 控制面板，可提供用于編排和管理 Helm 圖表的直觀用戶界面。Helm 是幫助開發者定義、安裝和升級 Kubernetes 應用程序的技術，可簡化和加速應用程序打包和部署的開發和測試。借助此更新，適用于媒體的 Holoscan 還獲得了一個新的媒體流式傳輸參考應用程序容器。媒體網關 Next 使開發者能夠使用 ST 2110/NMOS 集成運行任何 GStreamer 管道，并配置需要測試正在開發的應用程序的發送器和接收器。此外，平臺和開發者文檔也已擴展，包括有關在單個 Linux 主機上進行有限本地設置的說明，以及擴展集群安裝指南。除此之外，

Source

]]>