Llama

KV キャッシュの再利用技術と、TTFT のさらなる高速化を実現するベストプラクティスについて解説します。

NVIDIA は、比類のない精度と効率を実現する獨自の言語モデル、Llama 3.1-Nemotron-51B を発表しました。 Meta の Llama-3.1-70B の派生モデルであり、新しい Neural Architecture Search (NAS) アプローチによる、高精度かつ効率的なモデルです。