Danny McCormick – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Tue, 03 Jan 2023 06:36:21 +0000
zh-CN
hourly
1
196178272 -
使用 NVIDIA TensorRT 在 Apache Beam 中簡化和加速機器學習預測
http://www.open-lab.net/zh-cn/blog/simplifying-and-accelerating-machine-learning-predictions-in-apache-beam-with-nvidia-tensorrt/
Fri, 16 Dec 2022 06:32:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=5884
Continued]]>
為大規模運行機器學習模型而加載和預處理數據通常需要將數據處理框架和推理機無縫拼接在一起。 在這篇文章中，我們將介紹 NVIDIA TensorRT 與 Apache Beam SDK 的集成，并展示如何將復雜的推理場景完全封裝在數據處理管道中。我們還演示了如何通過幾行代碼處理來自批處理和流傳輸源的 TB 數據，以實現高吞吐量和低延遲模型推斷。 要將 TensorRT 與 Apache Beam 一起使用，在此階段，您需要 converted TensorRT engine file from a trained model. 以下是如何將 TensorFlow 對象檢測 SSD MobileNet v2 320 × 320 模型轉換為 ONNX ，從 ONNX 構建 TensorRT 引擎，并在本地運行引擎。 要將 TensorFlow 對象檢測 SSD…
Source
]]>
5884
人人超碰97caoporen国产