end-to-end AI – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Thu, 16 Mar 2023 03:28:53 +0000
zh-CN
hourly
1
196178272 -
適用于基于 NVIDIA 的 PC 的端到端人工智能： NVIDIA TensorRT 部署
http://www.open-lab.net/zh-cn/blog/end-to-end-ai-for-nvidia-based-pcs-nvidia-tensorrt-deployment/
Wed, 15 Mar 2023 03:25:20 +0000
http://www.open-lab.net/zh-cn/blog/?p=6451
Continued]]>
這篇文章是關于 優化端到人工智能 的系列文章中的第五篇。 NVIDIA TensorRT 是一種在 NVIDIA 硬件上部署光速推理的解決方案。有了人工智能模型架構， TensorRT 可以在部署前使用，以過度搜索最有效的執行策略。 TensorRT 優化包括重新排序圖中的操作，優化權重的內存布局，以及將操作融合到單個內核以減少 VRAM 的內存流量。要應用這些優化， TensorRT 必須具有完整的網絡定義及其權重。 評估的策略在 TensorRT 引擎中序列化，該引擎與應用程序一起提供，以在生產中實現最佳推理性能。在部署過程中，除了這個引擎之外，不需要其他任何東西來執行網絡。 包含已編譯的內核和對文件的序列化使該引擎僅與相同 計算能力 的 GPU 兼容。該文件也特定于 TensorRT 版本，但將與 8.6 之后的未來版本兼容。
Source
]]>
6451
人人超碰97caoporen国产