Python – NVIDIA 技術ブログ
http://www.open-lab.net/ja-jp/blog
Wed, 07 Jun 2023 08:12:23 +0000
ja
hourly
1
-
NVIDIA FasterTransformer による KoGPT の推論高速化の向上
http://www.open-lab.net/ja-jp/blog/increasing-inference-acceleration-of-kogpt-with-fastertransformer/
Tue, 25 Apr 2023 07:41:00 +0000
http://www.open-lab.net/ja-jp/blog/?p=1702
Reading Time: 2 minutes Transformer は、現在最も影響力のある AI モデル アーキテクチャの 1 つであり、將來の AI 研究開発の方向性を形作っています。自然言語処理 (NLP) のツールとして最初に発明された Transform … Continued]]>
Reading Time: 2 minutes Transformer は、現在最も影響力のある AI モデル アーキテクチャの 1 つであり、將來の AI 研究開発の方向性を形作っています。自然言語処理 (NLP) のツールとして最初に発明された Transformer は、現在、コンピューター ビジョン、自動音聲認識、分子構造分類、金融データ処理など、ほぼすべての AI タスクで使用されています。 韓國では、Kakao Brain が Transformer アーキテクチャに基づいた高精度の大規模言語モデル (LLM)、KoGPT を開発しました。大規模な韓國のデータセットでトレーニングし、NVIDIA FasterTransformer を使用して最適化することに成功しました。 この投稿では、NVIDIA と Kakao Brain が…
Source
]]>
1702
-
GiNZA で體感する MIG のパフォーマンス スケーラビリティ
http://www.open-lab.net/ja-jp/blog/mig-perf-scalability-with-ginza/
Wed, 08 Jun 2022 03:41:29 +0000
http://www.open-lab.net/ja-jp/blog/?p=359
Reading Time: 3 minutes GPU の性能が年々向上する一方で、世の中には様々な規模の処理が存在しています。その中には、高性能な GPU を使い切るには至らない、比較的軽い処理も存在します。本日は、NVIDIA Ampere Architectur … Continued]]>
Reading Time: 3 minutes GPU の性能が年々向上する一方で、世の中には様々な規模の処理が存在しています。その中には、高性能な GPU を使い切るには至らない、比較的軽い処理も存在します。本日は、NVIDIA Ampere Architecture から導入された MIG (Multi-Instance GPU) と、MIG を活用した性能向上の例として、日本語 NLP 用ライブラリである GiNZA のベンチマーク結果について紹介していきます。 なお本記事は、GiNZA の開発者である、株式會社リクルート Megagon Labs 松田 寛様との共同記事となります。 GiNZA は、
Source
]]>
359
人人超碰97caoporen国产