?? ??? ?? LLM ?? API ???? ??

????? ???? ???? ?? ?? ?? ??? ??? ? ??? ? ?? ?? ?????? ??? ????. ?? ?? ??(LLM) ???????? ???? ???? ??? ????? ?? ???? ??? ??? ?? LLM ?? ??? ???? ????? ?????. ? ???? API? ? ?? ??????? ?? ?? ??? ???? ??? ?? ?????. ? ??? ?? API? ??? ??? ?? ??? ???? ?? ???? ?????.

LLM ????? ?? ???? ??? ?? ??? ???? LLM ???? ?? ? ? ?? LLM ???? ?????? ????? ?????.

API ????? ??????

API ?? ?? ????? ?? ??? ?? ???????. ??? ????? ?? ??? ??? ?? ??? ???? ???? ??? ?? ?? ?? ??? ?????. ??? ??? ???? ???? ??? ??? ?? ??? ?????. ? ?? ??? ??? ???(??) ?? ?? ????(??)? ??? ?? ?? ???? ????.

????? ? ??? API? ? ???????? ???? ?? ??? ?????? ?? ? ???? ??? ?? ?????. ???? ?? ??? ????? ???? API? ?????? ??? ???? ???.

?? ??? ??? ??? ?????? ??? ??? ? ?? ?? ??? ????? ?? ??? ?? ??? ??? ? ??? API? SDK ?? ?????? ‘??’? ? ?? ??? ??? ? ????.

API ???? ????

? ??? ???? ?? ??? ??? API ????? ???? ??? ???? ?? ????? ???????? ? ??? ? ? ?? “?????? ????”? ??? ?????.

LLM ????

?? ??? LLM? ???? ??? ?????. ? ????? NVIDIA NGC ?????? ??? ? ?? Mixtral 8x7B LLM? ?????. ??? ??? ????? API? ??? ? ??? ???. ??? ? ?? API ??? ????? ?????.

???? ?????? ????? ???? ?? ??? ???? ?? ?? ????? ??? ??? ??(MCQ)?? ???? ? ????. ???? ??? MCQ? ????? ???? ???? ? ??? ??????. ?? ??? ?? ??? ?????.

?? ?? ????

???? ?? ??? ?????. NGC ?????? ??? NVIDIA AI ????? ??? ??? ? ????(?? 1).

? ??? ??? ?? NVIDIA AI ????? ?? API? ???? “?????? ????”? ??? ?????. ?? ?? ????? ???? ?? ?? API? ???? ??? ??? ??? ? ????. ? ?? ????? ?? ? ?? ??? ???????:

• ??? ??? ?? Mixtral 8x7B Instruct
• ??? ??? ?? Stable Diffusion XL
• ?? ??? ?? Code Llama 34B

???? ??

AI ????? ??, ??? ??, ?? ??, ???? ??? ? ?? ?? ??? ?????.

??

? ?? ???? ??? ??? ?? ?? ?? ?????. ? ??? ????? ?? ??? ?? ? API ??? ?? ???? ??????(?? 2 ? 3).

?? ?? ? ???? ??

?? ????? ??? ??? ????? ??? ?????. ???? ??? ??? ??? ?? ?? ??? ?? LLM ???? ??? ?????. ?? ?? ??? ?? ? ?? LLM ???? ?????? ????? ?????.

???? ?? ??? ???? ??? ???? ?? ? ?? ?? ??? ???????. ?? ?? ???? ????? ?? ?? ??? ??????. ??? ??? ?? ?? ??? ?? LLM ????? ?????.

?? ? ??? ??? ? ?? ??? ????? ?? ??? ??? ??? ??? ?? ? ??? ?? ???? ??? ??? ???? ????. ???? ?? ??? ??? ?? ????. ???? ??? ????? ?? ?? ??? ?????.

LLM ???? ??? ?? ??? ?? ?? ? ??? ???? ?? ??

API? ???????. ??? ?? ??? ??? ??? ?? ??? ??? ? ???? ?? ??? ?????. ?????? ??? ??? ?? ??? ?? ???? ?? ?? ??? ??? ? ????. ?? ??? ???? ?? ?? ??? ??? ?? ? ?? ??? LLM? ?? ?? ??? ????? ???? ? ??? ???. ?? ? ??? ???? ???? ????? ???? ? ????.

LLM ???? ??? ?? ??? ??? ?? ? ??? ???? ??? ? ?

?? ? ??? ??? ?????. ?? ??? ?? ??? ????? ??? ??? ??? ?? ??? ? ?? ??? ????. ?? ?? ??? ???? LLM? ??? ??? ???? ??? ???? ??? ??? ??? ? ??? ????? ????? ???.

????? ??? ????. ? ???? Mixtral 8x7B ??? ????? ??? ??? ?? ?? ???? ??? ? ????. ??? ?? ??? ?? ????? ??? ? ?? ??? ?????.

prompt = """Your task is to generate a plan for the problem user gave using FUNCTIONS. Just generate the plan. Do not solve.
 
<FUNCTIONS>[
    {
        "function": "ImageGenerator",
        "description": "Generates an Image based on a prompt description",
        "arguments": [
            {
                "name": "prompt",
                "type": "string",
                "description": "Describe what is the key subject of the image, followed by the background."
            },
            {
                "name": "negative_prompt",
                "type": "string",
                "description": "what shouldn't be in the image. Fill none if not specified."
            }
        ]
    },
    {
        "function": "CodeGenerator",
        "description": "Generates python code for a described problem",
        "arguments": [
            {
                "name": "prompt",
                "type": "string",
                "description": "description of the problem for which the code needs to be generate"
            }
        ]
    },
    {
        "function": "TextGenerator",
        "description": "Generates well reasoned text for questions. Requires the full complete context.",
        "arguments": [
            {
                "name": "prompt",
                "type": "string",
                "description": "Describe in detail about the question that requires an answer"
            }
        ]
    }
]
</FUNCTIONS>
 
User: <User’s question>.
 
Assistant: ```json
"""

?? ??? ?? ??

Mixtral 8x7B? ?? ??? ?? ??????, ??? ?? ??? ???? ?? ??? ??? ??? ? ????. ??? ???? ?? LLM? ?? ???? ??? ??? ??? ??? ???? ??? ? ?? ?? ?? ?? ?? ? ??? ???? ?? ????. ?? ??????? local-LLM-function-calling ? lm-format-enforcer? ????.

??? ?? ?? ??

??? ??? ???? ?? ??? ???? ???? ??? ‘??’? ?????.

??: ? ?? ?? ??? ?? ?? ???? ?? ?? ??? ???? ?????. ?? ??? ??? ????? ???? ??? ?????? ??? 4.99?????. ?? ??? ???? ?????. ???? ?? ??? ???? ???? ???? ???? ??? ??? ?????. ??? ?? ??? ??? ?? ???? ?? ?? ????? ?????????.

?? ??:

{
    "function": "ImageGenerator",
    "arguments": {
        "prompt": "A bright and clean laundry room with a large bottle of WishyWash detergent, featuring the new UltraClean formula and softener, placed prominently on a shelf.",
        "negative_prompt": "No clutter, no other brands, only WishyWash."
    }
},
{
    "function": "TextGenerator",
    "arguments": {
        "prompt": "Compose a tweet to promote the new WishyWash detergent with the UltraClean formula and softener at $4.99. Make sure to highlight its benefits and competitive pricing."
    }
},
{
    "function": "TextGenerator",
    "arguments": {
        "prompt": "Generate ideas for marketing campaigns to increase WishyWash detergent sales, specifically focusing on the new UltraClean formula and softener."
    }
}

?? ??? ? ??? ??????:

• ??? ??
• ?? ??? ??? ??
• ??? ???? ?? ? ?? ???? ??

?? ??, ?? ???? ?? ?? ??? ?????.

Stable Diffusion XL? ??? ??

Stable Diffusion XL? ??? ???? ??? ????(?? 4), ?? ???? ??????? ?? ?? ??? ???? ? ? ????. ??? ?? ???? ??? ??? ??? ?? ??? ? ?? ???? ? ??? ??? ? ????.

Mixtral 8x7B? ??? ??? ??

?? 5? ?? 6? ?? Mixtral 8x7B? ??? ?? ??? ???? ?? ??? ????? ?????. ? ???? ????? ??? ??? ????? ??? ???? ???? ??? ? ?????.

? ???? ??? ?????? ??? ?? ?? ???, ???? ????? ?? ? ?? ?????? ?? ?????. ?? ???? ?? ?? ?? ???? ?? SDK? ?? ?? ???? ??? ?? API? ?? ?? ??? ?? ??? ? ????. ?? ??? ??? ???? ?? ?? ??? ???? ??? ??? ? ?? ?????

API ???? ?????? ?? ? ?? ?? ??

API ???? ??????? ??? ? ??? ?? ?? ?? ??? ??? ???.

API ????

? ???? ? ?? API? ???????. ?? ??? ????? ???? ??? ?? ?? ???? ?? ?? 5? ??? ?? ?? ?? ?? ??(RAG) ???? ???? ???. ??? ???? ?? ??? ? ?? ?? API? ?? ???? ?? ??????.

? ?? ??

? ???? ????/?? ? ?? ??? ???? ????? ADaPT? ?? ? ?? ???? ???? ?? ?? API? ??? ? ????. ? ?? ?? ????? ???? ? ??? ??? ?? ????? ???? ? ??? ? ? ????.

????

? ???? LLM ?? API ?? ????? ???? ??? ?? ??? ??????. ? ??? ???? ??? ??? ? ????? ? ??? ??? ?? ???? ?? ?? ?????? ???? ????. ???? ??????? ?? ??? ???? ?????? ???? ?? ?? ?? ???? ???? ?? ?? ?????.

????? API ????? ????? ?? ??? ??? ???? ??? ?? ??? ??? ?? ?? ?? ?????? ?? AI ??? ?????. LLM ??????? ?? ????? RAG ?????? ????? ????? GitHub? NVIDIA/GenerativeAIExamples? ?????.

?? ???

• GTC ??: LLM ???? ?? ??: ?? ??? ??(??? ? ?????? ??)
• GTC ??: ?????? LLM ?? ?? ?????
• GTC ??: LLM ?? ????? ?? ????(????(Quantiphi, Inc.) ??)
• NGC ????: genai-llm-playground
• ???: ?? ?? ?? ????
• ???: NVIDIA Jetson?? ??? AI? ?? ????