NVIDIA Jetson Orin Nano ??? ??, “??” ???

Reading Time: 7 minutes

??? ?? ?? ??(LLM), ?? ?? ??(VLM), ?? ?? ??(VLA) ??? ?? ????? ??? AI ??? ??? ???? ????. ? ???? ??? ??? ?? ?? ???? ?????? ???? ?? ??? ???? ??? ? ?? ?? ??? ???? CUDA? ??? ???? ?? ? ??? ML ?????? ?????.

????? ???? ?????? ??? AI ????? ?? ??? ??????? ???? ?? NVIDIA? ????? ????? ?? ?? 1.7?? ?? ?? ?? ??? ?? 249???? ??? ? ???? NVIDIA Jetson Orin Nano ??? ??? ??? ?????. Jetson Orin Nano ??? ??? ??? AI? ??? ???? ?? ???? ?? ???? NVIDIA Jetson Orin Nano Super ??? ??? ? ??? ???????.

Jetson Orin Nano ??? ??? ????? ??????? Jetson Orin Nano Super ??? ??? ?????? ? ????.

? ?????? ??? ??? ??? ??? ??? ??? ???? ???? ??? ?? ?????.

??? Jetson Orin Nano Super ??? ??

?? Jetson Orin Nano Super ??? ??? ??? ?? ??? ??? ?????:

1.7? ??? ?? AI ?? ??.
67 Sparse TOP?? ?? 40 Sparse TOP?? ?? ??.
102GB/s? ??? ???, ??? 65GB/s ??? ????? ?? ??.
1.5GHz?? 1.7GHz? ??? CPU ?? ??.
499???? 249??? ??? ??? ??

??? 1. NVIDIA Jetson Orin Nano Super ??: ???? ?? ???? ??? AI ???

??? ???? ?????? GPU, ??? ? CPU ??? ????? ??? ?? ??? ?? ??? ?? ??? ?????. ??? ?? Jetson Orin Nano ??? ??? ?? ??? JetPack?? ??????? ??? ?? ??? ??? ? ????.

??? ?? ??? ?? Jetson Orin Nano Super ??? ??? ?? 70% ? ?? AI ??? ??? ????? ??? ???? ?? ????? ?? ??? ??? ? ????. ? ??? ??? ???? ?? ???? ?? 8B ????? ?? ??(?: Llama-3.1-8B ??)?? ???? LLM, VLM, ?? ?????(ViT)? ??? ??? ? ????.

Jetson? ?? ???? ??? ML ?????? ???? ?? ???(?: HuggingFace Transformers, Ollama, llama.cpp, vLLM, MLC, NVIDIA TensorRT-LLM ?)? ?????. ??? ????, ??, PC ?? ?? ??? ???? ???? ???? ???? ? ???? ?????.

Jetson Orin Nano Super ??? ?? ??

	NVIDIA Jetson Orin Nano ??? ?? (????)	NVIDIA Jetson Orin Nano Super ??? ??
GPU	NVIDIA Ampere ???? 1,024 CUDA ?? 32 Tensor ?? 635 MHz	NVIDIA Ampere ???? 1,024 CUDA ?? 32 Tensor ?? 1,020 MHz
AI PERF	40 INT8 TOPS (Sparse) 20 INT8 TOPS (Dense) 10 FP16 TFLOPs	67 TOPS (Sparse) 33 TOPS (Dense) 17 FP16 TFLOPs
CPU	6-core Arm Cortex-A78AE v8.2 64-bit CPU 1.5 GHz	6-core Arm Cortex-A78AE v8.2 64-bit CPU 1.7 GHz
???	8GB 128-bit LPDDR5 68 GB/s	8GB 128-bit LPDDR5 102 GB/s
?? ??	7W \| 15W	7W \| 15W \| 25W

Table 1. Jetson Orin Nano Super ??? ?? ?? ??

??? LLM, VLM ??? ViT? ??

NVIDIA Jetson Orin Nano Super ??? ??? ???? ??????? ??? AI ??? ????? ???? ??? ????? ??? ??? AI ??? ????? ?? ?? ???? ??? ?????.

LLM, VLM, ?? ?????(ViT)? ??? ???? ??? ???? ???? AI ???????. ????? LLM? ???? ?? ??? ??? ??? ??? ??? ????, ???? ?? ?? ? ?? ?????? NVIDIA Riva? ???? ????? ??/?? ?????? ??? ? ????.

???(Pruning)? Distillation? ?? ??? ?? ??? ??? ???? ?? ??? ??? ??? ?? ??(SLM)? ?? ?? ??? ????? ??? ????? ???? ??? 7B ??? ??? ??? ????.

??? ?? ??? LLM? SLM? ????? ???? ?? ??? ???? I/O? ?? ?? ??? ?? ???? LLM ?? ??? ??? ?? ???? ???? ?? ??????.

LLM ????? ??? ???? LoRA? ?? ??? NVIDIA NeMo? ??? ?? ML ??????? ???? ??????? ????? SLM? ?? ? ???? ?? ? ??? ???? ??? ? ????.

ViT? ?? ??? ????? ????? ??? ?????? ??? ?????. ???? ?? ???? ??? ??? ??????:

?? ??(Feature extraction)
??(Classification)
??(Detection)
???(Segmentation)
?? ??(Pose estimation)

?? 3D ??? ???? ? ???? ?? ??? ????? ???? NVIDIA Cosmos Tokenizers? ??? ? ????. ViT? ???? ???? ??? ??? ?? ? ???? ???? ?? ??? ?? ??? ?? ?? ?? ?? ? ?? ??? ??? ???? ???? ??? ????? ??? ?????.

VILA? ?? VLM? ?? ? ??? ?? ??? ?? ViT? LLM? ???? ??? ??? ?? ??? ???? ???? ?? ??? ???? OCR? ???? ??? ? ??? ?????. ???? ??? ???? ?? ??? ??? ?? ???? ???? ??? ??? ? ????.

SLM? ??? ?? ??? ?? VLM? Jetson Platform Services? ???? VLM ???????? ?? ??? ??? ?? ?? ? ?? ??? ?? ??? ???? ?? ????? ???? ?? ??????? ?? ? ????? ????.

??? ??? ?? ??? AI? ???? ???? ?? ??????? ??? ??????. ??? NVIDIA Jetson Orin Nano Super? ??? LLM, SLM, ViT ? VLM?? ??? ?? ??? ????, ?? AI? ????? ?? ????? ??? ?? ?? ??? ?? ?? ?? ??? ?? ?????. ???? ? ?? ?? ?? LLM, VLM ? ViT? ?????? Jetson Orin Nano Super ??? ??? ?? ??? ?? ??? ?? ??? ????? ???????.

?? 1. Jetson Orin Nano Super ??? ???? LLM ?? ??

Model	Jetson Orin Nano (original)	Jetson Orin Nano Super	Perf Gain (X)
Llama 3.1 8B	14	19.14	1.37
Llama 3.2 3B	27.7	43.07	1.55
Qwen2.5 7B	14.2	21.75	1.53
Gemma 2 2B	21.5	34.97	1.63
Gemma 2 9B	7.2	9.21	1.28
Phi 3.5 3B	24.7	38.1	1.54
SmolLM2	41	64.5	1.57

? 2. ?? ?? LLM? ??/? ?? ???? ??
*MLC API? ??? INT4 ???? ?? LLM ?? ??(?? ?? ?).

?? 2. NVIDIA Jetson Orin Nano Super??? ???? VLM ?? ??

Model	Jetson Orin Nano (original)	Jetson Orin Nano Super	Perf Gain (X)
VILA 1.5 3B	0.7	1.06	1.51
VILA 1.5 8B	0.574	0.83	1.45
LLAVA 1.6 7B	0.412	0.57	1.38
Qwen2 VL 2B	2.8	4.4	1.57
InternVL2.5 4B	2.5	5.1	2.04
PaliGemma2 3B	13.7	21.6	1.58
SmolVLM 2B	8.1	12.9	1.59

? 3. ?? ?? VLM? ??\? ?? ???? ??
*?? VILA ? LLAVA ??? MLC? ???? INT4 ???? ??????, ??? ??? ?? ??? ?????? ???? FP4 ???? ???????.

?? 3. NVIDIA Jetson Orin Nano Super ??? ???? ViT? ?? ??

Model	Jetson Orin Nano (original)	Jetson Orin Nano Super	Perf Gain (X)
clip-vit-base-patch32	196	314	1.60
clip-vit-base-patch16	95	161	1.69
DINOv2-base-patch14	75	126	1.68
SAM2 base	4.42	6.34	1.43
Grounding DINO	4.11	6.23	1.52
vit-base-patch16-224	98	158	1.61
vit-base-patch32-224	171	273	1.60

? 4. ?? ?? ?? ?????? ?? ??? ? ???? ??
*?? ViT ??? NVIDIA TensorRT? ???? FP16 ???? ???????(???? FPS ??).

Jetson Orin Nano Super ??? ?? ????

??? ??? ???? JetPack SDK ????? SD ?? ???? ?????? ?? ???? ????.

NVIDIA? ??? ??? ???? JetPack 6.1 ?? SD ?? ???? ??????. SDK ???? ???? Jetson Orin Nano ??? ??? ??? ??? JetPack 6.1? ??? ?? ????. ???? ?? SDK ???? ?????? JetPack 6.1(rev. 1)? ????? ?????.

JetPack? ??? ? ?? ???? ???? ?? ??? ???? ?? ??? ??? ? ????. ?? 2? ?? ??? ???? MAXN ?????.

sudo nvpmodel -m 2

Ubuntu ????? ?? ??? ???? ?? ?? ?? ???? ???? ?? ??? ??? ?? ????.

Jetson Orin Nano Super ??? ???? ??? AI ????

NVIDIA? Jetson Orin Nano ??? ???? ??? AI? ??? ? ?? ??? ????? ?? ??? ????? Jetson AI ?? ?? ?????. ????? ??? ??? LeRobot ????? ?????. ??? AI ??? ???? ?? ??? ?? ?? ????? ???? ????.

Hugging Face LeRobot

NVIDIA? Hugging Face? ???? LeRobot ?? AI ????? ?? ??? ????? ????. ??? ??? ?? ???? ?? ??? ?? ??? ???? ?? ??? AI ??? ???? Jetson Orin Nano Super ??? ???? HuggingFace LeRobot? ??? ? ????.

Ollama? ??? ??? AI ?? ??

Jetson Orin Nano Super ??? ???? ??? AI ??? ?????. ? ??? ???? ???? LLM? ???? ?? ???? ?? ?? ?? ?? ?????? Open WebUI? ??? Ollama? ???? ???. ?? ?? ??(RAG)? ???? ??? ??? ??? ?? ??????.

?? 6. Jetson Orin Nano Super ??? ???? ???? ??? AI ??

Jetson AI Lab? ?? ???? ??? AI

Jetson AI Lab? ?? ????? ???? ?? ??? AI ??? ???? ??? ? ?? ?????.

????? ???? ????? ???? ??? ?????? NVIDIA? ??? ? ???? ?? ?? ?? ?? AI ? ?? ??? ????? ?? ???? ????. ?? ?? ?? ?? ?????? ???? ?? ???????? ?? ???? ??? ?? Jetson ?????? ?? ?? ?? ? ??? ???? ???? ???? ?? ?? ??? ???? ? ????.

?? 7? NanoOWL ??? ?? ??? ?? ?? ViT? ?? ?????.

?? 8? ??? txt2img ? img2img ??? ?? ??? ?? NanoDB ???? ?? ??????? ?????.

Jetson AI Lab? ? 50?? ?? ?? ?? ????? ?? ??? ????? ???? ???? ???? ?? ??? ????? ????? LLM, SLM, ???? VLM? ??? ??? ? ???, VLA, ?? ?? ? ?? ??? ?? ??? ?? ?????. ?? ??? ?????? ???? ?? ??? ???? ?? ???? ?? ??? ?????.

???? ??? ?? ????? ???? ???? Jetson AI Lab? ??? ??? AI? ??? ???? ?? ?? ??? ?? ??? ????.

?? Jetson Orin Nano ???? Jetson Orin NX ??? ??? ?? ?? ??

NVIDIA? ?? Jetson Orin Nano ???? Jetson Orin NX ??? ??? ??? ??? ???? ????. ?? AI ????? ?? ?? ????, ?? ?? ?????? ??? AI ??? ??? ? ?? ??? ??? ?????.

??? ?? ????? ???? ?? ???? ?? 1.7? ??? ??? ??? ? ????.

Orin Nano ???: GPU, CPU, ???? ??? ? ?? ??.
Orin NX ???: GPU ? DLA ??? ?? ??.

? 5. Jetson Orin Nano Super ? Orin NX Super ?? ??

Jetson Orin Nano Orin NX ???? ??? ?? ??? ?? ?? ? ???? ?? 1? ???? JetPack 6.1.1? ?? ??? ?????.

??, Orin? ?? ??? ???? ?? NVIDIA? ?? Jetson Orin? ?? ?? ??? 2032??? ????? ??????. ??? ‘??’ ?? ??? ?? Orin Nano ???? Orin NX ???? ?? ? ?? ?? ??? ???? ???? ? ????.

?? ?? ??? AI ??? ?????

Jetson Orin Nano Super ??? ??? ?? ???? ?? ??? AI ??? ???? ?? ??? ??????. ??? ?? ???? NVIDIA? ?? ?? AI? ?? ??? ??? ???? ?? ???? ???? ??? ?? ??? ? ??? ????? ??? ? ?? ??? ?????.

?? Jetson Orin Nano ??? ?? ???? ??, ?? ?? JetPack SDK? ??????? ??? ??? ?????.

???? ?? ??? ?? ?? ??? NVIDIA ????? ?????, LinkedIn, Instagram, X, Facebook?? NVIDIA Robotics ??? ??????. ??? ??? ???? ????? ??? ??, Discord ??? YouTube ???? ???? ????? ???? ??? ? ????.