??? AI ?? ??? ?? ???? ?? ???????? ???? NVIDIA NIM

Reading Time: 4 minutes

??? AI ??? ??? ?????. 2022? OpenAI? ChatGPT ??? ??? ? ??? ??? ? ? ?? 1? ? ??? ???? ?????, ?? ?? ???? ?? ??? ??????.

2023??? ????? Meta, Mistral, Stability ?? API? ?? ?? ???? ??? ???? POC? ??????.

2024?? ????? ???? AI ??? ?? ?????? ???? ????, ??? ?? ??? ???, ??, ????, ?? ?? ????? ? ???? ???? ??? ??? ??? ????. ?????? ?? ? ??? ???? ??? ?? ????, ?? ???? ?? ?? ??, ??? ? ????? ?????.

NVIDIA AI Enterprise? ??? NVIDIA NIM? AI ?? ?????? ??????? ???? ????? AI ??? ???? ?? ???? ????? ?????.

NIM? ????, ?????, GPU ?? ?????? ? ???? ?? ??? ???? ??? AI ??? ??? ?????? ??? ???? ???? ???? ???????? ?????. ?? ?? API? ???? AI ?? ?? ? ????? ???? ???? ????? ??? ?? ?????.

???? AI ??? ?? NVIDIA NIM

NVIDIA NIM? ??? AI ?? ??? ?? ??? ?? ?? ?? ??? ??? ????? ???? 10~100? ? ?? ?????? ?????? ???? ??? AI ??? ??? ? ??? ?????.

*?? 1. ?? ?? API, ???? ??, ???? ?? ??, ?????? ???? ???? ?????? ?? ???????? NVIDIA NIM*

NIM? ?? ??? ??? ????.

???? ??

NIM? ???? ??? ?? ???? ?? ???????? ????, ????? ?????? ????? ??? ???? ?? ??? ??? ? ????. ???? NVIDIA DGX, NVIDIA DGX Cloud, NVIDIA ?? ???, NVIDIA RTX ?????? ? PC? ?????.

???? ??? ???? ?? ??? ????? ?? ??? ??? NVIDIA ???? ???, ???? ??? ???? ? Kubernetes ????? ??? ??? ????? ?????. ??? ?? NVIDIA ?? ???? ??? ????, ??? ??????? ???? ???? ???? ????? ???? ??? AI ??????? ??? ? ????.

?? ?? API? ??

???? ? ???? ?? ?? ??? ???? API? ?? AI ??? ????? AI ?????? ??? ???? ? ????. ??? API? ????? ?? ?? ?? ????? ????? ???? ? 3?? ????? AI ??????? ???? ????? ? ????. ??? ??? ??? ?? ??? ??? ?????? ?? ??? AI ???? ???? ???? ??? ? ????.

???? ?? ??

NIM? ?? ? ?? ?? ??? ?? ???? ???? ???? ??? ?? ???? ?????. ??, ??, ??? ??, ?? ? ??? ???? ?? ???? NVIDIA CUDA ?????? ?? ??? ???? ?????. ??? ?? ??? ?? ??????? ?? ?? ??? ???? ???? ??? ??? ? ????.

???? ?? ???? ??

NIM? ? ??? ???? ??? ???? ?? ??? ???? ???? ????? ??? ?? ??? ???? ?????. ?? ?? ?? ????? ??? ?? ?? ??? ???? ?? ??? ??? ??? ? ????. ???? ???? ??? ??? ?? ???, ???? ??? ??? ??? ???? ?? ?? ??? ??? ??? ???? ?? ???? ???? ??? ?? ???? ? ????.

??????? AI ??

NVIDIA AI Enterprise? ??? NIM? ??????? ?? ????? ???? ?? ???, ??? ??, ??? ?? ??? ?? ?????? ??, CVE? ?? ???? ?? ????? ?? ?????? AI ?????? ?? ??? ??? ?????. ???? ?? ??? ??? ??? ????? ?? ??? ??? AI ??????? ????? ???? ? ?? ???? ???? NIM? ??? ?????.

?? ??? ??? ???? AI ??

???? ??, NVIDIA AI ????? ??, NVIDIA ???? ???? ??? AI ?? ? ??? AI ??? ???? NIM? ?? ???? ?? AI ?? ??? ?????. ???? ?? ?? ??(LLM), ?? ?? ??(VLM), ??, ???, ???, 3D, ?? ??, ?? ??? ?? ?? ??? ?????.

???? NVIDIA API ?????? NVIDIA ??? ???? API? ???? ?? ??? AI ??? ???? ? ????. ?? NIM? ?????? ??? ?? ????? ?? ???? ???? ?? ??????? Kubernetes? ???? ???? ???? ?? ??, ??? ? ??? ??? ? ????.

NIM ???????? ????, ??? ? ??? ???? ????? ?? ?? API? ???? AI ?? ?? ????? ??????. ??? ???? ???? ??? ???? ?? ?? ??? ?? ??????? ???? NIM? ??? ? ????.

??? NIM? ???? AI ?? ??? ???? ?????? ?? ?? ?? ???? ?? ??? ????? ?? AI ???? ???? ? ????. NIM? ???? AI ??? ??? ???? ? ?? ??? ????? ??? ???? ?????.

?????? ??????? ?? ??? ?????? ?? ??? ?? NVIDIA? ??? ????? ?? ??????? ?? ???? ???? ?????. NVIDIA NeMo? LLM, ?? AI ? ???? ??? ?? ?? ???? ???? ?? ?? ??? ?????. NVIDIA BioNeMo? ?? ??? ?? ? ?? ??? ?? ?? ???? ?? ?? ??? ??????. NVIDIA Picasso? Edify ??? ?? ? ?? ?? ?????? ?????. ??? ??? ?? ??? ????? ???? ??????? ???? ?? ??? ??? ?? ??? ??? AI ??? ??? ? ????.

NVIDIA NIM ????

NVIDIA NIM? ?? ???? ??? ? ????. ???? NVIDIA API ???? ??? ?? AI ??????? ???? ???? ? ??? ? ?? ???? AI ??? ???? ? ????.

??? ??? ?????? ???? ?????? ?? ??????? ????? ??? API? ?? ?? ??? ? ????. ???? ???????? ????? NVIDIA AI Enterprise 90? ??? ????? ???? ?? ??? ???? ?? ???.

1. NVIDIA NGC?? ????? ??? ???????. ? ????? ?? A100 GPU??? ??? Llama-2 7B ?? ??? ???????.

ngc registry model download-version "ohlfw0olaadg/ea-participants/llama-2-7b:LLAMA-2-7B-4K-FP16-1-A100.24.01"

?? GPU? ???? ??, ?? ??? ?? ??? ngc ????? ?? ?? “ohlfw0olaadg/ea-participants/llama-2-7b:*”? ??? ? ????.

2. ????? ????? ?? ???? ??? ???:

tar -xzf llama-2-7b_vLLAMA-2-7B-4K-FP16-1-A100.24.01/LLAMA-2-7B-4K-FP16-1-A100.24.01.tar.gz

3. ??? ??? NIM ????? ?????:

docker run --gpus all --shm-size 1G -v $(pwd)/model-store:/model-store --net=host nvcr.io/ohlfw0olaadg/ea-participants/nemollm-inference-ms:24.01 nemollm_inference_ms --model llama-2-7b --num_gpus=1

4. NIM? ???? ?? REST API? ???? ??? ??? ? ????:

import requests
 
endpoint = 'http://localhost:9999/v1/completions'
 
headers = {
    'accept': 'application/json',
    'Content-Type': 'application/json'
}
 
data = {
    'model': 'llama-2-7b',
    'prompt': "The capital of France is called",
    'max_tokens': 100,
    'temperature': 0.7,
    'n': 1,
    'stream': False,
    'stop': 'string',
    'frequency_penalty': 0.0
}
 
response = requests.post(endpoint, headers=headers, json=data)
print(response.json())

NVIDIA NIM? ??? ???? AI?? ??? ???? ? ??? ???? ??? ?????. ?? ?? AI ??? ?????.