NVIDIA Research – NVIDIA 技術ブログ
http://www.open-lab.net/ja-jp/blog
Wed, 22 Jan 2025 08:38:06 +0000
ja
hourly
1
-
Hymba ハイブリッド ヘッド アーキテクチャが小規模言語モデルのパフォーマンスを向上
http://www.open-lab.net/ja-jp/blog/hymba-hybrid-head-architecture-boosts-small-language-model-performance/
Fri, 22 Nov 2024 08:01:01 +0000
http://www.open-lab.net/ja-jp/blog/?p=3108
Reading Time: 4 minutes Transformer は、その Attention ベースのアーキテクチャによる、強力なパフォーマンス、並列化能力、および KV (Key-Value) キャッシュを通じた長期記憶のおかげで、言語モデル (LM) の主 … Continued]]>
Reading Time: 4 minutes Transformer は、その Attention ベースのアーキテクチャによる、強力なパフォーマンス、並列化能力、および KV (Key-Value) キャッシュを通じた長期記憶のおかげで、言語モデル (LM) の主流となっています。しかし、二次計算コストと高いメモリ要求により、効率性に課題が生じています。これに対し、Mamba や Mamba-2 のような狀態空間モデル (SSMs) は、複雑さを一定にして効率的なハードウェア最適化を提供しますが、メモリ想起タスクが苦手でそれは一般的なベンチマークでのパフォーマンスに影響を與えています。 NVIDIA の研究者は最近、効率性とパフォーマンスの両方を向上させるために、Transformer の Attention メカニズムを SSM と統合したハイブリッド…
Source
]]>
3108
-
NVIDIA Sionna でリンクレベル シミュレーションを開始
http://www.open-lab.net/ja-jp/blog/jumpstarting-link-level-simulations-with-sionna/
Tue, 22 Mar 2022 02:28:00 +0000
http://www.open-lab.net/ja-jp/blog/?p=440
Reading Time: 2 minutes 世界中で 5G ワイヤレス ネットワークの導入と利用が進んでいますが、學術界や産業界の研究者の間では、既に 6G のビジョンと主要テクノロジの定義が始まっています。詳しい內容はまだ未定ですがわかりませんが、6G のビジョ … Continued]]>
Reading Time: 2 minutes 世界中で 5G ワイヤレス ネットワークの導入と利用が進んでいますが、學術界や産業界の研究者の間では、既に 6G のビジョンと主要テクノロジの定義が始まっています。詳しい內容はまだ未定ですがわかりませんが、6G のビジョンとして、かつてない規模のデジタル ツインと分散型機械學習 (ML) アプリケーションを作成することが必要だと繰り返し語られています。6G の研究には新たなツールが必要です。 6G のビジョンの基盤となる主要テクノロジには、テラヘルツ帯という高周波通信があります。この帯域では桁違いのスペクトルを利用できます。このテクノロジの実例には、以下のようなものがあります。 機械學習は、6G プロトコル スタック全體で主要な役割を果たすとされており、
Source
]]>
440
人人超碰97caoporen国产