NVIDIA AI ????? ??: ????-?? LLM?? ??? ?????? ?? ? ???? ??

??? ?? ??(LLM)? ??? ????? ??? ???? ??? ??, AI, ?? ??? ?? ??? ???? ???. ???? ????? ?? ??? ??? LLM? ?????? ???????? ?? ? ?? ??? ?? ????.

NVIDIA Nemotron-3 8B ????? ?? ???? ??????? ???? ?? ??? AI ??????? ???? ?? ???? ??? ???, ?? ??? AI ???? ??? AI ???? ??? ??? ?????.

??? ??? ????? ??? ????? ???? LLM? ??, ?????? ? ???? ?? ????? ?????? NVIDIA NeMo? ?????. ?? ???? ??? ?? ???? AI ??????? ??? ?? ????? ???? ??? ? ????. ??? ??????? ????, ??? ??, Windows ???? ? ??? ????? ??? ? ????.

Nemotron-3 8B ???? Azure AI ?? ????, HuggingFace ? NVIDIA NGC ????? NVIDIA AI ????? ?? ???? ??? ? ????. ???? ??? ????? ??? ????? ??? ??, ?? ? ????(Q&A) ??? ???? ????. ? 1? ?? ????? ?? ???? ?????.

????? ????? ?? ??

????? ??? ??? ??? ??????? ???? ? ??? ??? ???? ???? ??? ?? ?????. ??? ??? ??? ??? ?????? ?? ??? ????? ???? ???.

NVIDIA AI ????? ??? ??? ?? ??? ??? ??? ???? ???? ??? ???? ??? ?????. ??? ????? ?? ??? ???? ??? ???? ?? ??? ?????. ???? ?? ??? ??? ???? ???? ??? ?? ??? ??? ???? ??? ?? ???? AI ???????? ??? ? ??? ???. ??? ??? ????? ?? ??? ??? ??? ?? ??? ??? ?? ??? ? ????.

Nemotron-3-8B ???

Nemotron-3-8B ???(base) ??? ??? ??? ??? ?? ??? ???? ?? ???? ??? ?????. ? ??? MMLU 5? ??? 54.4???. ?? ? ??? ??? ??, ???, ????, ????, ????, ???, ???, ?????, ????? ? 53? ??? ???? ??? ??? ?? ??? ??? ?? ??? ?????. ? ??? ??? 37? ?? ??? ???? ???? ????.

Nemotron-3-8B ??

? ???? ??? Nemotron-3-8B ??(chat) ??? LLM ?? ?? ????? ???? ???. ? ?? ?? ?? ??? ???, ?? ??? ???? ??? ?? ???????:

• ??? ?? ??(SFT)
• ??? ???? ?? ?? ??(RLHF)
• NVIDIA SteerLM

Nemotron-3-8B-SFT ??? ????? ??? ? ?? ???, ?? ??? ?? ?? ?? ???? ??? 8B ?? ??? ?? ?? MT-Bench ??? ?? RLHF ??? ?????. ??? ???? ?? ?? ??? ?? 8B-chat-RLHF? ???? ?? ???, ?? ???? ???? ?? ???? ???? ? ??? ?? ????? ?? RLHF? ????? SFT ??? ???? ?? ?????.

?????, ?? ?? ??? SteerLM? ?? ? LLM? ???? ??? ??? ? ?? ??? ??? ???? ?????. SteerLM? ???? ???? ??? ?? ??? ???? ?? ?? ??? ???? ? ????. ?? ?? ??? ???? ?? ?? ?? ??? ??? ??? ??? ? ????.

? ??? ???? ???? ?? ??? ??? ? ????. ??? ??? ??? ??? ?? ???? ??? ?? ???? ???? ??? ??? ??? ????? ???? ? ????.

Nemotron-3-8B ??? ??

Nemotron-3-8B-QA ??? ?? ?? ??? ??? ?? ??? ???? ???? ?? ??? ????(QA) ?????.

Nemotron-3-8B-QA ??? ?? ?? ??? ???? 41.99%? ?? ? F1 ??? ???? ? ??? ??? ?????. ? ??? ??? ??? QA?? ??? ??? ????? ?????.

Nemotron-3-8B-QA ??? ???? ??? ? ? ?? ?? ?? ??? ???? ????????. ? ???? NVIDIA?? ??? ??? ??? ??? ?? ? Doc2Dial ??? ??? ?? ???????. ??? ?? ? ??? ??? ??? ???? ??? ??????.

NVIDIA NeMo ?????? ??? LLM ????

NVIDIA NeMo? ?? ?? ????? ?? ????? ??? ?????? ???? ???? ??? ?????? ??? AI ??? ???? ??? ??????. ???? Nemotron-3-8B ?? ???? ?? ?? ?? ??? ?? ?? ??? ? ?? NVIDIA? ?? ??? ??? ???? ? ????.

?? ?? ??

NeMo ?????? ???? ???? ????? ???? ??? ??? ????. NeMo? ????? ??????. ???? ?? ??? ???????? ???? ??? ??? ??? ? ????.

??? ?? ??

?? ?? ??? ????? NVIDIA TensorRT-LLM ?? ?? ?????? ?? ?? ????? ????? NVIDIA Triton ?? ???? ???? ?????. ??? ?? ??? ?? ??? ???, ?? ?? ??, ?? ???? ??? ? ????.

??? ?? ?? ?? ? ??

NeMo? ?? ? ?? ??? ???? ???? ???? ??? ??? ?????. ?? ??, ??? ???? ??? ????? ?? ???? ?? NeMo ????? ???? ???? ???? ????? ???? ?? ???? ???? ??? ? ????.

????? NeMo ?????? ??? LLM? ???? ?? ???? ?? ??? ???? ?? ?????? AI ??????? ??? ??? ? ?? ???? ?????. ????? ?????? ???? ???? ???? ??? ???? ??? ???? ? ??? ??? ??? ?????.

Nemotron-3-8B ????

Nemotron-3-8B ???? ??? ?? ??? ? ?? NeMo ?????? NVIDIA GPU?? ????? ?? LLM ??? ?? ?? ???? ???? ?? ?? ?????? TensorRT-LLM? ?????. ??? ?? ??? ??? ??? ???? ?????:

• KV ??
• ???? ??? ??(MQA, GQA, ??? ??? ??)
• ?????(?? ??) ??
• ???(INT8/FP8) ??? ? ??? ??? ??.

NeMo ????? ?? ?????? Nemotron-3-8B ???? ?? NeMo ??? TensorRT-LLM ???? ???? Triton ?? ??? ?? ????? ? ??? ?? ????? ???? ???? ????. ???? ?? ??? ?? ? ?? ?????? ?????.

?? ??

??? ?? ?? ? ????? ??? ???? ? ??? ???:

• NVIDIA ????? GPU: ?? (1) A100 – 40GB/80GB, (2) H100 – 80GB ?? (3) L40S.
• NVIDIA NeMo ?????: Nemotron-3-8B ?? ???? ??? ????? ??? ? ?? ???? ? ?? ????? ?? ?????.

Azure ML ?? ??

Nemotron-3-8B ???? ??? Azure ML ??? ?????? ???? ?? Azure ML ?? ?????? ??? ? ????. AzureML? ???? ?? ‘?? ?? ??’ ??? ?(flow hat)? ???? Nemotron-3-8B ??? ??? ?? ?? ??? ? ????. NeMo ????? ?? ????? ?? ??? ??? ?? ???? ????.

??? ?? Azure ML? NVIDIA ????? ??? ????? ?? ??? ????:

1. Azure ??? ???: https://portal.azure.com/#home
2. Azure ML ?? ?? ????? ?????.
3. ?? ??? ???? ?? ????? ?????.

NVIDIA AI ????? ??? Azure?? ?? ??, ?? ? ??? ??? ? ????. ?? ??????? NeMo ???? ?????? ???? Azure ML ??? ??? ? ????. ???? ? ?? ????? ??? NeMo ?????? ?? AzureML ?? ???? ????.

?? ??? ?? ????? ??? ?? ??? ???? ‘?? ??’? ??? ?? ?? ??, ??? ?? ?? ???, ?? ? ??? ?? ??, ??? ????? ?? ?? ??? ?????.

??? ????? ??? ?? ??? ???? ‘??? ?????’? ??? ?? ????, ????? ? ?? ????? ???? ??? ??? ?????. ??? ???? ?????? ??? ?? ??? ?????.

Azure ML?? ?? ?? ?? ? ??? ???? ?? Azure CLI ? SDK ??? ??? ? ????. ??? ??? Azure ML ???? ????? ??? ?????.

?-???? ?? ?? ????? ???? ?? ??

Nemotron-3-8B ???? ???? ?? ??? ???? ?? ??? ?? ??? ???? ???? ???, ??? ?? ????? ????? ?? ??? ?????.

NeMo ????? ?? ????? ???? ?? ?? ??? https://registry.ngc.nvidia.com/orgs/ea-bignlp/teams/ga-participants/containers/nemofw-inference ? ?????.
??? ?? Nemotron-3-8B-Base-4k? ??? ?????.

1. NGC ????? ????? ?? ????? ?????.

# log in to your NGC organization
docker login nvcr.io

# Fetch the NeMo framework inference container
docker pull nvcr.io/ea-bignlp/ga-participants/nemofw-inference:23.10

2. Nemotron-3-8B-Base-4k ?? ????. 8B ?? ???? NGC ????? Hugging Face?? ??? ? ????. ? ? ? ? ??? ??? ????? ? ????.

NVIDIA NGC

NGC?? ??? ?????? ?? ?? ??? CLI? ???? ????. NGC CLI? ???? ?? ?? ?? ???? ??? ?? ?? ? ?????.

# Downloading using CLI. The model path can be obtained from it’s page on NGC
ngc registry model download-version "dztrnjtldi02/nemotron-3-8b-base-4k:1.0"

Hugging Face ??

?? ??? git-lfs? ????? ?? ????? ???? ?? ??? ???? ??? ????? ? ????.

git lfs install
git clone https://huggingface.co/nvidia/nemotron-3-8b-base-4knemotron-3-8b-base-4k_v1.0

3. ??? ???? NeMo ?? ????? ???? ?? ??? ?????.

# Create a folder to cache the built TRT engines. This is recommended so they don’t have to be built on every deployment call. 
mkdir -p trt-cache

# Run the container, mounting the checkpoint and the cache directory
docker run --rm --net=host \
                     --gpus=all \
                     -v $(pwd)/nemotron-3-8b-base-4k_v1.0:/opt/checkpoints/  \
                     -v $(pwd)/trt-cache:/trt-cache  \
                     -w /opt/NeMo \
                     -it nvcr.io/ea-bignlp/ga-participants/nemofw-inference:23.10 bash

4. ??? ???? TensorRT-LLM ???? ???? Triton ?? ??? ?????.

python scripts/deploy/deploy_triton.py \
                     --nemo_checkpoint /opt/checkpoints/Nemotron-3-8B-Base-4k.nemo \
                     --model_type="gptnext" \
                     --triton_model_name Nemotron-3-8B-4K \
                     --triton_model_repository /trt-cache/ \
                     --max_input_len 3000 \
                     --max_output_len 1000 \
                     --max_batch_size 2

? ??? ????? ???? ??? ? ?? ?????? ?????. ?? ???? ??? ???????.

?? ?? ??

???? ????? ??? ?? ??? ???? ? ??? ? ?? ? ?? ??? ????:

1. NeMo ????? ?? ?????? ??? ? ?? NeMo ????? API ??
2. PyTriton? ???? ??? ???? ????? ? ???
3. ??? ???? HTTP ?????? ????? HTTP ??? ?? ? ?? ?????/?? ??.

?? 1? ??? NeMo ????? API ??? ??? ????. ??? ?? ?? ??? IP ? ??? ???? ? ?? ?? ??? NeMo ????? ?? ?????? ? ??? ??? ? ????.

from nemo.deploy import NemoQuery

# In this case, we run inference on the same machine
nq = NemoQuery(url="localhost:8000", model_name="Nemotron-3-8B-4K")

output = nq.query_llm(prompts=["The meaning of life is"], max_output_token=200, top_k=1, top_p=0.0, temperature=0.1)
print(output)

?? ??? ?? ?? ????? README?? ??? ? ????.

??: ?? ??(SFT, RLHF ? SteerLM)? “”? ??? ????? ????? ??? ??? ?? ?? ??? ?????, NemoQuery API? ?? ? ?? ??? ??? ? ???? ??? ???? ??? ???? ????. ?? ??? ?? output? ???? ?????:

output = nq.query_llm(...)
output = [[s.split("<extra_id_1>", 1)[0].strip() for s in out] for out in output]

8B ?? ??? ??

NVIDIA Nemotron-3-8B ???? ??? ?? ??? ?? ??? ?????. ??? ??? ???? ? ???? ??? ??(SFT, RLHF, SteerLM) ? QA ??? ?? ??? ?? ??? ?????. ?? ??? ??? ???? ?? ?? ?? ?? ??? ?????. ??? ??? ??? ??? ??? ??? ???? ??? ??? ????? ???? ?? ?? ??????.

??? ??? ???? ???? ???? ? ?? ???? ?? ? ????.

?? ??, ??? Nemotron-3-8B-Chat-SFT ? Nemotron-3-8B-Chat-RLHF ??? ??? ? ?? ?? ? ? ?? ? ?????:

???? ? ?? ??? ??? ??? ?????. ??? ?? ? ???? ???? ?? ??? ???? ?????.

PROMPT_TEMPLATE = """<extra_id_0>System
{system}
<extra_id_1>User
{prompt}
<extra_id_1>Assistant
"""
system = ""
prompt = "Write a poem on NVIDIA in the style of Shakespeare"

prompt = PROMPT_TEMPLATE.format(prompt=prompt, system=system)
print(prompt)

??: Nemotron-3-8B-Chat-SFT ? Nemotron-3-8B-Chat-RLHF ??? ??, ??? ????? ?? ?? ?? ????.

?? ?? ? ??? ???

NVIDIA Nemotron-3-8B ?? ???? ???? ??? ??? ?? ?? ??? ??? ?????. ?? ?? ? ?? ??? ???, ?????? ?? ???? ?? ??, SFT ?? ???? ??? ?? ??, RLHF? ??? ?? ??? ?? ?? ?? NVIDIA? ??? SteerLM ?? ?? ?? ????.

?? ??? ??? ?? ???? ?? ????? NeMo ????? ???? ????? ????. ?? ??? ????, ???? ? ??? ?? ??? ??????? ??, ????? DGX ????, ????? ?? ??? ?? ???? ??? ???? ? ??? ?????? NeMo ?????? ???? ?? ??? ?????.

??? ??? NeMo ????? ?? ??? ?? ???? README? ?????.

Nemotron-3-8B ?? ???? ??? ?? ??? ?? ??????, ??? ?????? ??? ?? ??? ??? ?? ??? ?? ??? ?????.

?? ??? ??? ??? ??? ?? ???.

?? ???

• DLI ??: ??? AI ?????? ????
• GTC ??: AI ?????? AI ??? ?? ?????
• GTC ??: NVIDIA NeMo ??? | ??? ??? AI ??? ?????? ??? ??
• SDK: NeMo
• ???: ??? ?? ?? ????
• ???: AI ?? ??? AI? ?? ??? ? ??