Vincent Gong – NVIDIA 技術ブログ

NeMo Framework で実踐する継続事前學習 – 日本語 LLM 編 –

Mon, 20 Jan 2025 04:03:28 +0000

Reading Time: 3 minutes 本記事では、NeMo Framework を使用して、日本語データセットで大規模言語モデル (LLM) の継続事前學習を実行する方法を説明します。 NeMo Framework は、LLM をはじめ、生成 AI モデルを構築、カスタマイズするためのクラウドネイティブなフレームワークです。NGC 上にコンテナーが公開されており、すぐに利用を開始することができます。 NeMo Framework は、NGC 上に公開されているコンテナーを無償利用していただくこともできますが、NVIDIA AI Enterprise の対象ソフトウェアとなっているため、エンタープライズサポートを希望される場合は NVIDIA AI Enterprise ライセンスの購入をご検討ください。

Source

]]>

NeMo Curator を使った日本語データのキュレーション

Wed, 25 Sep 2024 00:57:11 +0000

Reading Time: 7 minutes 本記事では、NeMo Curator を使用して、日本語データセットを作成する方法を説明します。データキュレーションとは、データのダウンロードやテキストの抽出、クリーニング、重複排除、フィルタリングなどを通じて、機械學習モデルの開発に必要なデータセットを構築するプロセスです。データキュレーションは、大規模言語モデル (LLM) の事前學習、カスタマイズにおける最初の、そしておそらく最も重要なステップでもあります。しかし、この重要性にもかかわらず、LLM を學習するための大規模なデータセットを作成するために開発されたソフトウェアやツールのほとんどは、公開されておらず、拡張性もありません。そのため、LLM 開発者は、

Source

]]>

NVIDIA cuOpt でルート最適化に革命を起こす

Fri, 12 Jul 2024 02:11:13 +0000

Reading Time: 2 minutes NVIDIA cuOpt は、世界記録を持つ GPU 対応最適化 AI マイクロサービスであり、複數の制約がある複雑なルーティング問題をチームで解決する際に役立ちます。cuOpt では、GPU で高速化する進化したアルゴリズムが使用され、ヒューリスティックス、メタヒューリスティックス、最適化を利用し、多様で制約のある複雑な車両経路問題を計算します。?比類のない精度、ソルバー対応時間、拡張性を備えた cuOpt は、事業をかつてないほどに最適化するパワーを企業に與えます。 NVIDIA AI Enterprise の一部となった cuOpt は、クラウド、オンプレミス、ハイブリッドを問わず、どこにでもデプロイすることができます。非対稱パターンの距離行列と時間行列をサポートしているため、

Source

]]>