Energy – NVIDIA 技術ブログ

NVIDIA NIM で LoRA アダプター群をシームレスにデプロイ

Fri, 07 Jun 2024 06:18:00 +0000

Reading Time: 3 minutes 最新の基盤である最先端の大規模言語モデル (LLM) は、數十億ものパラメーターを持ち、數兆もの入力テキストトークンで事前學習されています。多くの場合、カスタマイズの必要なく、幅広いユースケースで著しい成果を上げています。それにもかかわらず、研究では、下流のタスクで最高の精度を達成するためには、高品質でドメイン固有のデータセットで LLM を適合させる必要があることが示されています。多くの場合、カスタマイズされた小規模モデルは、より大規模な汎用LLM と同等あるいはそれを上回るパフォーマンスを発揮することが可能であり、同時にデプロイにかかるコストを大幅に削減することができます。しかし、特定の下流タスクのためにモデルをカスタマイズする作業は、作成とデプロイの両方に重大な課題をもたらす可能性があります。

Source

]]>

記録を塗り替え続ける NVIDIA cuOpt アルゴリズムがルート最適化ソリューションを 100 倍高速化

Wed, 20 Mar 2024 06:05:00 +0000

Reading Time: 3 minutes NVIDIA cuOpt は、複雑なルーティング問題を解決するための高速最適化エンジンです。休憩時間、待ち時間、車両の複數のコスト/時間マトリックス、複數の目標、注文と車両のマッチング、車両の開始位置と終了位置、車両の開始時間と終了時間など、さまざまな側面が含まれる問題を効率的に解決します。具體的には、cuOpt は 2 つの問題の複數のバリアントを解決します。CVRPTW (容量制約と時間枠のある配送計畫問題) と PDPTW (時間枠のある集荷と配達の問題) です。これらの問題の目的は、それぞれの注文において車両數と走行距離合計を最小限に抑えつつ、顧客の依頼にサービスを提供することです。 cuOpt は、SINTEF が検証した最大規模のルーティングベンチマークにおいて、過去 3 年間で、23…

Source

]]>

LLM アーキテクチャにおける Mixture of Experts の適用

Thu, 14 Mar 2024 02:16:40 +0000

Reading Time: 4 minutes Mixture of Experts (MoE) 大規模言語モデル (LLM) アーキテクチャは、GPT-4 などの商用の LLM と Mistral Mixtral 8x7B のオープンソースリリースによりコミュニティモデルの両方で最近登場しました。Mixtral モデルの強力な相対的性能は、MoE を LLM アーキテクチャでどのように使用できるのか、多くの関心と疑問を引き起こしました。では、MoE とは何であり、なぜそれが重要なのでしょうか? Mixture of Experts は、レイヤーまたは演算 (線形レイヤー、MLP、注意投影など) の計算を複數の「エキスパート」サブネットワークに分割するニューラルネットワークのアーキテクチャパターンです。こうしたサブネットワークはそれぞれの計算を獨立して実行し、

Source

]]>

LLM テクニックの習得: 推論の最適化

Fri, 17 Nov 2023 06:31:10 +0000

Reading Time: 6 minutes Transformer 層を積み重ねて大規模なモデルを作成すると、精度が向上し、Few-shot Learning 能力を獲得し、さらには幅広い言語タスクで人間に近い創発的な能力が得られます。これらの基盤モデルはトレーニングにコストがかかり、推論中にメモリと計算を大量に消費する可能性があります (継続的にかかるコスト)。現在、最もポピュラーな大規模言語モデル (LLM)では、パラメーターのサイズは數百億から數千億に達することがあり、ユースケースによっては長い入力 (またはコンテキスト) の取り込みが必要になる場合があり、これによって費用も増加する可能性があります。この投稿では、LLM 推論における最も差し迫った課題と、いくつかの実用的な解決策について説明します。読者に、Transformer のアーキテクチャ、

Source

]]>

ハイパフォーマンスコンピューティングにおけるエネルギー効率: スピードと持続可能性のバランス

Tue, 14 Nov 2023 04:18:05 +0000

Reading Time: 5 minutes コンピューティングの世界は劇的な転換期にあります。コンピューティング性能、特にハイパフォーマンスコンピューティング (HPC) の需要は年々増加しており、それはまたエネルギー消費量も増加していることでもあります。しかし、根底にある問題は、エネルギーが制限のある資源であるということです。そのため世界は、演算の焦點を性能からエネルギー効率にどのようにシフトさせるのが最善か、という問題に直面しています。この問題を考えるとき、タスクを完了させる速度とエネルギー消費の相関関係を考慮に入れることが重要です。この関係は見落とされがちですが、不可欠な要素です。この記事では、スピードとエネルギー効率の関係を探り、より速くタスクを完了させる方向にシフトした場合の影響について考察します。

Source

]]>

企業ソリューション向け大規模言語モデル (LLM) を始める

Tue, 07 Nov 2023 07:07:59 +0000

Reading Time: 3 minutes 大規模言語モデル (LLM: Large :Language Models) は、數千億のパラメーターを持つインターネット規模のデータセットで學習されるディープラーニングのアルゴリズムです。LLM は、読み、書き、コーディング、描畫、そして人間の創造性を補強することで、様々な業界の生産性を向上させ、世界で最も困難な問題を解決することができます。 LLM は、小売業から醫療まで幅広い業界で、幅広い業務に使用されています。LLM は、科學者が命を救う畫期的なワクチンを開発するのに役立つ、新しい化合物を生成するための、タンパク質配列の言語を學習します。LLM は、ソフトウェアプログラマが自然言語の記述に基づいてコードを生成し、バグを修正するのを助けます。そして、人間が最も得意とすること、すなわち創造、質問、理解など、

Source

]]>

エッジコンピューティングが促進する持続可能なエネルギーの未來

Thu, 27 Jan 2022 15:03:00 +0000

Reading Time: < 1 minute 毎日、自動車や飛行機に電力を供給する燃料から、コンロの調理に使われるガス、家庭や企業の照明を維持する電気など、エネルギーは私たちの生活全體に流れています。石油、ガス、電力は成熟した商品市場ですが、AI はこれらの資源を生産、輸送、供給するためのプロセスを変革しています。石油採掘場で、発電所內で、小型トラックの車內、さらにはスマートビルでの組込みなど、エッジに配置された AI が登場します。石油/ガス企業や公益事業者は、AI とエッジコンピューティングを利用して、業務効率の向上、労働者の健康と安全の保護、再生可能エネルギーの統合、グリッド回復力の向上、消費者への信頼性と価格の高いエネルギー源の提供などを実現しています。企業や國と地域が脫炭素化や溫室効果ガス排出ゼロの目標達成に向けて競爭する中、エッジ AI は、

Source

]]>

Energy – NVIDIA 技術ブログ

NVIDIA NIM で LoRA アダプター群をシームレスにデプロイ

記録を塗り替え続ける NVIDIA cuOpt アルゴリズムがルート最適化ソリューションを 100 倍高速化

LLM アーキテクチャにおける Mixture of Experts の適用

LLM テクニックの習得: 推論の最適化

ハイパフォーマンス コンピューティングにおけるエネルギー効率: スピードと持続可能性のバランス

企業ソリューション向け大規模言語モデル (LLM) を始める

エッジ コンピューティングが促進する持続可能なエネルギーの未來

ハイパフォーマンスコンピューティングにおけるエネルギー効率: スピードと持続可能性のバランス

エッジコンピューティングが促進する持続可能なエネルギーの未來