Posts by Joe Delaere
數據中心/云端
2024年 8月 12日
NVIDIA NVLink 和 NVIDIA NVSwitch 加速大語言模型推理性能
大型語言模型(LLM)越來越大,增加了處理推理請求所需的計算量。為了滿足服務當今LLM的實時延遲要求,并為盡可能多的用戶提供服務,
3 MIN READ
生成式人工智能/大語言模型
2023年 9月 8日
NVIDIA TensorRT-LLM 在 NVIDIA H100 GPU 上大幅提升大語言模型推理能力
大語言模型(LLM)提供異常強大的新功能,拓展了 AI 的應用領域。但由于其龐大的規模和獨特的執行特性,很難找到經濟高效的使用方式。
3 MIN READ
數據中心/云端/邊緣
2022年 8月 30日
分割 NVIDIA A30 GPU 并征服多個工作負載
多實例 GPU ( MIG )是 NVIDIA H100 , A100 和 A30 張量核 GPU ,因為它可以將 GPU 劃分為多個實例。
4 MIN READ