DeepSeek-R1 NIM? ???? ??? ?? ??? ?? AI ???? ??

Reading Time: 5 minutes

AI ????? ????? ?????, ?? ??? ?????, ??? ????? ???? ???? ??? ??? ???? ????. ??, ??? ??? ??? ???? ??? ??? ??? ????. ??? ??? ?? ??? ? ????? ?? ??? ?? ????? ? ? ???? ???? ?????.

???? AI ??????? DeepSeek-R1? ?? ??? ??? ???? ??? ? ? ????. DeepSeek-R1? ?? AI ??? ???? ??? ????? ??????, 6,710? ?? ????? ?? ??? ??(Mixture of Experts, MoE) ?????. DeepSeek-R1? ???? ? ???? ?? ??? ???? ?? ??(RL) ??? ???? ???, ??? ??? ??? ?? ??, ??? ??? ???? ? ?????.

DeepSeek-R1? ??? ??(CoT) ???? ??? ??? ?? ??? ????, ??? ??? ? ???? ?? ?? ??? ? ????. ?? ???? ??? DeepSeek-R1? ???-?? ????? ??? ?????. ?? ??? ?? ????, ??? ?? ??? ??? ???? ??? ???? ??? ??? ?? ??? ????? ?? ????.

??? ??? ???? AI ??? ?? ??? ? ?? ???? ??? ????. ??? ? ??? ??? ????? ?? ??? ????? ????, ??? ?? ? ??? ??? ??? ????. ??? ?? ???? ?? DeepSeek-R1? ???? ? ?? ? ?? ???? ??? ?? ?????.

? ?????? DeepSeek-R1 NIM ???????? ???? ?????. ??? ?? ???? AI ????? ????, PDF? ????? ?? ??? ??? ??? ???? ???? ??? ?????.

??? ??? ??? ??? ??? DeepSeek-R1

DeepSeek-R1? AIME 2024, CodeForces, GPQA Diamond, MATH-500, MMLU, SWE-Bench ?? ?????? ??? ??? ????, DeepSeek-R1? ?? ?? ??? ??? ?? ? ?? ??? ??? ? ????. ?????? ???? AI? ??, ??? ???? ?? ??? ?? ?? ??? ???? ??? ?????. ??? ??? ??? ???? ???? ??? ???? ??? ????? ????? ?? ????? ?? ??? ??? ? ? ????.

??? ?? ??(Reasoning model)? ??? ????? ???? ?? ???? ???? ????. ??? ??? ??? ????? ???? ??, ?? ?? ??? ??? ?? ???? ????? ???? ??? ????. ?? ?? ?? ??? ??? ??? ??? ???? ???, ?? ???? ?? ?? ???? ???????. ??? ?? ?? ???? ? ??? ?? ??? ???? ?? ? ??????.

DeepSeek-R1 NIM ???????? ???? ?? ??

????? DeepSeek-R1 NIM ???????? ???? ???? ????? ?????? ?? ?? ?? ??? AI ????? ??? ??? ? ????. ??? ?? ?? ????? ?????? ??? ? ??. ?? ?? ??? AI ????? ??, ?? ??, ??? ???? ? ??? ???.

NVIDIA NIM ???????? ?? ?? API? ????, ?? ????? ??? GPU ???(????, ??? ??, ??????, PC ?)?? ???? ???? ??? ? ??? ???????. ??? ???? ??? ????? NIM ???????? ???? ??? ? ?? ?? ???? ??? ??? ? ????.

NIM ???????? ??? ??? ?????. ??? ?????? AI ????? GPU ?? ????? ? ??? ??? ? ??? ?????. ?? ?? ??? ? ????, ? ?? ?? ???? ?? ???? ???? ? ?? ??? ??????? ???? AI ??? ??? ?????.

NVIDIA NIM? ??? ??? ????? ?? ???

NVIDIA NIM? ?? ?? NVIDIA GPU ??? ?? ???? ?? ??? ??? ? ?? ????? ????. NVIDIA NIM? ??? ?? ???(Data Parallel Attention)? ??? ????, ?? NVIDIA H200 Tensor ?? GPU ???? ???? ????? ?????. ??? ??? ???? ??? ?? ??? ??? ? ????.

?? ?? ???? ???? NVIDIA Hopper ???? FP8 ????? ???, MoE ??? ????? ??? ???? ?? 900GB/s? NVLink ???? ?? ???? ?????. ??? ?? ???? ?? ?? ??? ????? ???? ??? ??, ??? ?? ?? ?? ?? ?? ??? ???? ??? ??? ????, ???? ??? ?? ????? ?????.

DeepSeek-R1 ??? ?? ??? ???? NIM? ??? ?????? ???? ??? ?????.

NVIDIA AI Blueprint? DeepSeek-R1? ??? ?? ??

NVIDIA Blueprint? ???? AI? ??? AI ?? ??? ?? ???? ?? ???????. ? Blueprint? ???? DeepSeek-R1 NIM ??? ??? ??? ? ????. ??? ???? ??? ? ????? PDF? ????? ??? ?? NVIDIA AI Blueprint? ???? ??? ???????. ? Blueprint? ???? PDF? ???? ?? ??? ??? ??? ???? ??? ? ????.

? Blueprint? ???? ????? ??? ????.

???? Blueprint? ?? PDF ??? ?????. ? PDF ??? ????? ??? ?? ?? ?????. ???? ????? Blueprint? ???? PDF ??? ?? ? ??? ? ????. ?? ??? ?? ??? ?????.
Blueprint? ?? PDF? ???? ???? ??? ? ??? ? ?? ?????? ?????.
? Blueprint? ???? ?????? ??? ????? ???? ?? ??? ?? ?? ?? LLM NIM ?????? ?????.
- ?? ??, ?? ?? ??, ?? ??? ?? ?? NIM
- ?? ??? ???? ????? ????, ??? ???? ?? ???? ???? ?? JSON NIM
- ????? ?? ???? ??? ??? ???? ???? ?? ?? NIM ? NIM? ??? ?? ?? ?? ???
?? ?? LLM NIM ???????? ?? ??? ?? ????? ????, ?? ???? ???? ??? ?????.
?? ??? ???? ????, ElevenLabs? ???-?? ?? ???? ??? ???? ??? ??? ?????.

??1? ?? ?? Blueprint? ????? ?????. ? Blueprint? GitHub? NVIDIA-AI-Blueprints/pdf-to-podcast?? ???? ? ????.

? ??? ??? ? ???? NIM? ?? ?? ??? ??? NIM ?????? ??? ??? ? ????. ?? ??? ??? ?? ????.

Blueprint ?? ????

PDF? ????? ???? NVIDIA AI Blueprint? Ubuntu ?? ??(v20.04 ?? ??)?? ??? ??? ? ????. ?? ?? ???? ?? ?? ?? ??? ??? ????.

NVIDIA Container Toolkit? Docker Compose? ??? Docker ??
ElevenLabs ???-?? ?? API? ?? API ?
NIM ?????
- DeepSeek-R1 NIM? NVIDIA? ??? ?? ?????? ???? ?????, NVIDIA API ?????? ???? ? ????. ?? ? API ?? ????.
- ??? ????? NIM ?????? ?????? LLM? NVIDIA NIM ?????? ?? ??? ?????. ???, DeepSeek-R1? ???? ????? NVIDIA H100 Tensor ?? GPU 16? (?? NVIDIA H200 Tensor ?? GPU 8?)? ?????. ?????? ????? ?? ??? ? ??? ?????.(??: localhost:8000)

??? ??? PDF-???? ?? NVIDIA AI Blueprint ??? ?????.

Blueprint ??

?? ???? Blueprint? ???? ???? ??? ?? ??? ???? ???.

# Clone the repository
$ git clone https://github.com/NVIDIA-AI-Blueprints/pdf-to-podcast
$ cd pdf-to-podcast
 
# Setup the API keys
$ echo "ELEVENLABS_API_KEY=your_key" >> .env
$ echo "NVIDIA_API_KEY=your_key" >> .env
# Avoid ElevenLabs API rate limiting issues
$ echo "MAX_CONCURRENT_REQUESTS=1" >> .env
 
# Install the dependencies
$ make uv

?? ??

? ????? ??? ??? ?? ??? ???? ??? ? ?????. ?? ???? ?? models.json ??? ???? ???.

DeepSeek-R1? ?? ??? ??? ? ?, ? ??? ?? ?? ??? ??? ???? ??? ???? ?? ?? NIM??? ??? ????. ???? JSON? ?? NIM ????????? ??? ??? ??? ???, ?? ?? ??? ???? ?? ??? ?? ??? ??? ? ????.

?? ??? NVIDIA API ????? ?? ?? ? ??? ????? ???? ?????.

{
  "reasoning": {
    "name": "deepseek-ai/deepseek-r1",
    "api_base": "https://integrate.api.nvidia.com/v1"
  },
  "json": {
    "name": "meta/llama-3.1-8b-instruct",
    "api_base": "https://integrate.api.nvidia.com/v1"
  },
  "iteration": {
    "name": "meta/llama-3.1-70b-instruct",
    "api_base": "https://integrate.api.nvidia.com/v1"
  }
}

???, DeepSeek-R1? ??? ???-?? ?? ??? ???? ?? ?? ?? ??? ?????. ?? ???? ????? ???? API? ??? ??(?? ?? NVIDIA API ????? ElevenLabs TTS ????? ??? ? ?? API), API ?? ???? ???? ??? ?? ???? ?? ??? ? ????? ????.

??? ??? ???? ??? ??? ???? ???? ?? ???? ???? ??? ? ????.

# Start the services
$ make all-services

? ??? ???? ?? ????? ???? ??? ??? ?? ???? ?????. ???? ????? ?? ???? CTRL + C ??? ????? ???.

???? ??

?? ???? ???? ????? ????, ?? ????? ??? ?????. ???????? samples ????? ??? ? ?? ?? ??? ? ? ???? ????. ??? ?? ??? ??? ?? samples ????? ???? ????? ???.

?? ??? ????? ???? ??? ?????.

# From inside the `pdf-to-podcast` directory:
 
# Activate the virtual environment
$ source .venv/bin/activate
 
# To generate a podcast with two speakers (dialog form):
$ python tests/test.py --target <main_doc.pdf> --context <context_doc.pdf>
 
# To generate a podcast with a single speakers (monologue form):
$ python tests/test.py --target <main_doc.pdf> --context <context_doc.pdf> --monologue

?? ??? ????, ??? ??? ????? tests ????? MP3 ??? ??????.

??? DeepSeek-R1 ??? ?? ??? ??? ??, ?? ?? ??(1~2???)? ???? ??? ???? ?????. ?? ???? ?? ? ??? ? ?? ?? ?? ??? API ?? ??? ?? ??? ???? ?????.

?? ?? ? ??

???? ? Blueprint? ???? ?? ??? ??? ??? ? ???, ??? ?? ????? ? ????. ? ?? ??? ???? ????? podcast_prompts.py?? ???? ? ????. ? ??? ?????, PODCAST_SUMMARY_PROMPT_STR, PODCAST_MULTI_PDF_OUTLINE_PROMPT_STR, PODCAST_TRANSCRIPT_TO_DIALOGUE_PROMPT_STR? ?? ??? ?? ??? ??? ? ?????. ?? ????? ??? ???? Blueprint? ??? ???.

DeepSeek-R1 NIM ???????? ?? ????

???? DeepSeek-R1? ?? ??? NVIDIA NIM ???????? ???? ???? ??? ??? ????, ??? ???? ???? AI ????? ?? ???? ???? ? ????. ??? ??? DeepSeek-R1 NIM? ??? NVIDIA Blueprint?? ??? ?? ?? ????.

NVIDIA? ????? API? ???? DeepSeek-R1 NVIDIA NIM? ?????? NVIDIA ????? ?????? ??? ???.