标签：engine resnet50 -- onnx TensorRT input trtexec options

TensorRT自带的trtexec在bin目录下，是一个可执行文件。
运行./trtexec -h

其中给出了 model options、build options、 inference options和system options等。
上次我们使用TensorRT的pyhton API进行序列化模型和前向推理，这次介绍使用trtexec转模型。

1.从固定尺寸的onnx转cudaEngine

./trtexec --explicitBatch --onnx=./resnet50.onnx --saveEngine=resnet50.engine

2.从可变尺寸的onnx转cudaEngine，需要指定profile。

./trtexec --onnx=./resnet50_dynamic.onnx --explicitBatch \
            --minShapes="input":1x3x224x224\
            --optShapes="input":16x3x224x224\
            --maxShapes="input":32x3x224x224\
            --shapes="input":1x3x224x224\
            --saveEngine=./resnet50_dynamic.engine

其中profile指定了输入的最小尺寸、最优尺寸和最大尺寸。那么真实输入推理时，处在最小和最大尺寸中都行。
实际前向推理时，可以根据自己需要选择哪种方式。

标签：engine,resnet50,--,onnx,TensorRT,input,trtexec,options
来源： https://blog.csdn.net/qq_33287871/article/details/119305069

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。