Telecommunications – NVIDIA 技術ブログ

AI-RAN が通信事業者向けに新しい AI のビジネスチャンスをもたらす

Tue, 12 Nov 2024 08:30:39 +0000

Reading Time: 4 minutes AI は、業界、企業、消費者の體験を新しい方法で変革しています。生成 AI モデルは推論に移行し、エージェント型 AI は新しい結果重視のワークフローを可能にしフィジカル AI により、カメラ、ロボット、ドローン、自動車などのエンドポイントがリアルタイムで意思決定を行い、対話できるようになります。これらのユースケースに共通するのは、普及し、信頼性が高く、安全で、超高速な接続が必要であることです。通信ネットワークは、フロントホール無線アクセスネットワークを介して直接送信されるか、エンタープライズアプリケーションによって生成されるパブリッククラウドまたはプライベートクラウドからのバックホールからの完全にスタンドアロンの AI 推論トラフィックのような新しい種類の AI トラフィックに備える必要があります。

Source

]]>

先進的なソブリン AI モデルが、日本のイノベーションとチャンスを解き放つ

Wed, 09 Oct 2024 02:58:12 +0000

Reading Time: 2 minutes ソブリン AI モデルは、特定の文化的や言語的ニュアンスに合わせて調整されているため、文脈を理解し適切な応答を生成する上でより効果的です。さらに、これらのモデルは地域のイノベーションを支援し、各國がそれぞれのニーズや優先事項に沿った AI 技術を開発することを可能にします。その結果、世界各國から支持されるソブリン AI モデルを開発しようという動きが高まっています。実際に、各國政府は、研究者や企業が自國民のニーズに特化した AI システムを構築できるようにするための構想を開始し、計算インフラに予算を割り當てています。このたび、東京科學大學 (舊?東京工業大學) と産業技術総合研究所 (AIST)は、Llama 3.1 をベースに、日本特有の言語的/

Source

]]>

通信會社に AI-RAN を提供

Tue, 08 Oct 2024 08:40:56 +0000

Reading Time: 5 minutes 生成 AI と AI エージェントの推論により、エッジからセントラルクラウドまで AI コンピューティングインフラストラクチャを分散する必要性が高まります。 IDC は、「ビジネス AI (消費者を除く) は、2030 年までに世界経済に 19.9 兆ドルの貢獻をし、GDP の 3.5% を占めるようになる」と予測しています。 5G ネットワークも、この新しい AI トラフィックに対応するために進化しなければなりません。同時に、通信事業者には、データのプライバシーと主権の要件を満たしながら、ネットワーク接続に依存せずにエンタープライズ AI ワークロードをホストするためのローカル AI コンピューティングインフラストラクチャになる機會があります。ここで、

Source

]]>

NVIDIA NIM で LoRA アダプター群をシームレスにデプロイ

Fri, 07 Jun 2024 06:18:00 +0000

Reading Time: 3 minutes 最新の基盤である最先端の大規模言語モデル (LLM) は、數十億ものパラメーターを持ち、數兆もの入力テキストトークンで事前學習されています。多くの場合、カスタマイズの必要なく、幅広いユースケースで著しい成果を上げています。それにもかかわらず、研究では、下流のタスクで最高の精度を達成するためには、高品質でドメイン固有のデータセットで LLM を適合させる必要があることが示されています。多くの場合、カスタマイズされた小規模モデルは、より大規模な汎用LLM と同等あるいはそれを上回るパフォーマンスを発揮することが可能であり、同時にデプロイにかかるコストを大幅に削減することができます。しかし、特定の下流タスクのためにモデルをカスタマイズする作業は、作成とデプロイの両方に重大な課題をもたらす可能性があります。

Source

]]>

NVIDIA TensorRT-LLM による、LoRA LLM のチューニングとデプロイ

Tue, 02 Apr 2024 04:35:31 +0000

Reading Time: 7 minutes 大規模言語モデル (LLM) は、膨大なテキストから學習し、さまざまなタスクや領域に合わせ、流暢で一貫したテキストを生成できることから、自然言語処理 (NLP) に革命を起こしました。ただし、LLM のカスタマイズは困難な作業であり、多くの場合、完全なトレーニングプロセスを必要とし、時間と計算コストがかかります。さらに、LLM のトレーニングには多様かつ代表的なデータセットが必要であり、取得とキュレーションが困難な場合があります。企業は、どうすれば完全なトレーニングにかかる費用を支払うことなく、LLM のパワーを活用できるでしょうか? 有望なソリューションの 1 つは Low-Rank Adaptation (LoRA) です。これは、トレーニング可能なパラメーターの數、メモリ要件、トレーニング時間を大幅に減らし、かつ、

Source

]]>

記録を塗り替え続ける NVIDIA cuOpt アルゴリズムがルート最適化ソリューションを 100 倍高速化

Wed, 20 Mar 2024 06:05:00 +0000

Reading Time: 3 minutes NVIDIA cuOpt は、複雑なルーティング問題を解決するための高速最適化エンジンです。休憩時間、待ち時間、車両の複數のコスト/時間マトリックス、複數の目標、注文と車両のマッチング、車両の開始位置と終了位置、車両の開始時間と終了時間など、さまざまな側面が含まれる問題を効率的に解決します。具體的には、cuOpt は 2 つの問題の複數のバリアントを解決します。CVRPTW (容量制約と時間枠のある配送計畫問題) と PDPTW (時間枠のある集荷と配達の問題) です。これらの問題の目的は、それぞれの注文において車両數と走行距離合計を最小限に抑えつつ、顧客の依頼にサービスを提供することです。 cuOpt は、SINTEF が検証した最大規模のルーティングベンチマークにおいて、過去 3 年間で、23…

Source

]]>

LLM アーキテクチャにおける Mixture of Experts の適用

Thu, 14 Mar 2024 02:16:40 +0000

Reading Time: 4 minutes Mixture of Experts (MoE) 大規模言語モデル (LLM) アーキテクチャは、GPT-4 などの商用の LLM と Mistral Mixtral 8x7B のオープンソースリリースによりコミュニティモデルの両方で最近登場しました。Mixtral モデルの強力な相対的性能は、MoE を LLM アーキテクチャでどのように使用できるのか、多くの関心と疑問を引き起こしました。では、MoE とは何であり、なぜそれが重要なのでしょうか? Mixture of Experts は、レイヤーまたは演算 (線形レイヤー、MLP、注意投影など) の計算を複數の「エキスパート」サブネットワークに分割するニューラルネットワークのアーキテクチャパターンです。こうしたサブネットワークはそれぞれの計算を獨立して実行し、

Source

]]>

LLM テクニックの習得: 推論の最適化

Fri, 17 Nov 2023 06:31:10 +0000

Reading Time: 6 minutes Transformer 層を積み重ねて大規模なモデルを作成すると、精度が向上し、Few-shot Learning 能力を獲得し、さらには幅広い言語タスクで人間に近い創発的な能力が得られます。これらの基盤モデルはトレーニングにコストがかかり、推論中にメモリと計算を大量に消費する可能性があります (継続的にかかるコスト)。現在、最もポピュラーな大規模言語モデル (LLM)では、パラメーターのサイズは數百億から數千億に達することがあり、ユースケースによっては長い入力 (またはコンテキスト) の取り込みが必要になる場合があり、これによって費用も増加する可能性があります。この投稿では、LLM 推論における最も差し迫った課題と、いくつかの実用的な解決策について説明します。読者に、Transformer のアーキテクチャ、

Source

]]>

LLM テクニックの習得: トレーニング

Thu, 16 Nov 2023 09:24:04 +0000

Reading Time: 3 minutes 大規模言語モデル (LLM) は、非常に大規模なデータセットを使用して言語を認識、要約、翻訳、予測、生成できる Transformer ネットワークを使用して構築された生成 AI モデルのクラスです。ご存知の通り、LLM は社會を変革する可能性を秘めていますが、このような基盤モデルのトレーニングは非常に困難です。このブログでは、Transformer ネットワークを使用して構築された LLM の背後にある基本原則を、モデルアーキテクチャ、アテンションメカニズム、埋め込み手法、基盤モデルのトレーニング戦略にわたり説明します。モデルアーキテクチャは Transformer ネットワークのバックボーンを定義し、モデルの能力や制限を広く決定づけます。 LLM のアーキテクチャは、しばしば、エンコーダー、

Source

]]>

企業ソリューション向け大規模言語モデル (LLM) を始める

Tue, 07 Nov 2023 07:07:59 +0000

Reading Time: 3 minutes 大規模言語モデル (LLM: Large :Language Models) は、數千億のパラメーターを持つインターネット規模のデータセットで學習されるディープラーニングのアルゴリズムです。LLM は、読み、書き、コーディング、描畫、そして人間の創造性を補強することで、様々な業界の生産性を向上させ、世界で最も困難な問題を解決することができます。 LLM は、小売業から醫療まで幅広い業界で、幅広い業務に使用されています。LLM は、科學者が命を救う畫期的なワクチンを開発するのに役立つ、新しい化合物を生成するための、タンパク質配列の言語を學習します。LLM は、ソフトウェアプログラマが自然言語の記述に基づいてコードを生成し、バグを修正するのを助けます。そして、人間が最も得意とすること、すなわち創造、質問、理解など、

Source

]]>

Telecommunications – NVIDIA 技術ブログ

AI-RAN が通信事業者向けに新しい AI のビジネス チャンスをもたらす

先進的なソブリン AI モデルが、日本のイノベーションとチャンスを解き放つ

通信會社に AI-RAN を提供

NVIDIA NIM で LoRA アダプター群をシームレスにデプロイ

NVIDIA TensorRT-LLM による、LoRA LLM のチューニングとデプロイ

記録を塗り替え続ける NVIDIA cuOpt アルゴリズムがルート最適化ソリューションを 100 倍高速化

LLM アーキテクチャにおける Mixture of Experts の適用

LLM テクニックの習得: 推論の最適化

LLM テクニックの習得: トレーニング

企業ソリューション向け大規模言語モデル (LLM) を始める

AI-RAN が通信事業者向けに新しい AI のビジネスチャンスをもたらす