使用TensorFlow, ONNX和TensorRT加速深度学习推理
使用TensorFlow, ONNX和TensorRT加速深度学习推理在这篇文章中,您将了解如何使用新的 TensorFlow-ONNX-TensorRT 工作流程部署经过 TensorFlow 训练的深度学习模型。 本教程使用 NVIDIA TensorRT 8.0.0.3 并提供两个代码示例,一个用于 TensorFlow v1,一个用于 TensorFlow v2。 TensorRT 是一个推理加速器。首先,使用任何框架训练网络。 网络经过训练后,批大小和精度是固定的(精度为 FP32、FP16