AI Inference

2024年 2月 1日

借助 NVIDIA TensorRT-LLM 和 NVIDIA Triton 部署 AI 編碼助手

大型語言模型 (LLM) 的出現革新了人工智能領域，為與數字世界的交互提供了全新的方式。盡管 LLM 通常能夠提供良好的通用解決方案，
4 MIN READ
2024年 1月 29日

使用全卷積網絡在 Transformer 模型中模擬注意力機制

在過去十年中，深度學習技術在計算機視覺 (CV) 任務中的應用大幅增加。卷積神經網絡 (CNN) 一直是這場革命的基石，展示了卓越的性能，
3 MIN READ
2024年 1月 8日

借助 NVIDIA RTX 系統為 Windows PC 上的 LLM 應用程序提供強效助力

大型語言模型 (LLM) 正在從根本上改變我們與計算機的交互方式。從互聯網搜索到辦公效率工具，這些模型正被整合到各種應用中。
2 MIN READ
2024年 1月 4日

借助 H2O.ai 和 NVIDIA 加速端到端工作流程的推理

數據科學家利用生成式 AI和預測分析構建新一代 AI 應用。在金融服務領域，AI 建模和推理可用于多種解決方案，包括用于投資分析的替代數據、
3 MIN READ
2023年 12月 14日

生成式 AI 研究聚焦：揭開基于擴散的模型的神秘面紗

借助互聯網級數據，AI 生成內容的計算需求顯著增加，數據中心在數周或數月內全力運行單個模型，更不用說通常作為服務提供的高生成推理成本。
5 MIN READ
2023年 12月 13日

借助 NVIDIA H100 Tensor Core GPU 和 NVIDIA TensorRT-LLM 實現出色的推理性能

出色的 AI 性能需要高效的并行計算架構、高效的工具堆棧和深度優化的算法。NVIDIA 發布了 NVIDIA TensorRT-LLM，
2 MIN READ
2023年 11月 27日

宣布推出 HelpSteer：用于構建實用 LLM 的開源數據集

NVIDIA 最近宣布了 NVIDIA NeMo SteerLM 技術，它是 NVIDIA NeMo 的一部分。
3 MIN READ
2023年 11月 17日

掌握 LLM 技術：推理優化

通過堆疊 Transformer 層來創建大型模型，可以提高準確性、實現少量學習功能，并且在各種語言任務中實現近乎人類的性能。
4 MIN READ