ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

Mxnet模型转换ONNX,再用tensorrt执行前向运算

2020-01-01 20:06:00  阅读:334  来源: 互联网

标签:安装 mxnet ONNX tensorrt https onnx com Mxnet


环境:ubuntu16.04

tensorrt版本:5.1.5.0

cuda版本:9.0

GPU:1080Ti

Mxnet版本:1.3.1

cudnn:7.3.1

1、tensorrt安装:

https://github.com/NVIDIA/TensorRT

tensorrt的不同版本:

https://developer.nvidia.com/nvidia-tensorrt-download

tensorrt python版的安装参考:

https://blog.csdn.net/zong596568821xp/article/details/86077553

官网参考:

https://docs.nvidia.com/deeplearning/sdk/tensorrt-install-guide/index.html

其实看官网安装tensorrt很简单

 

2、安装ONNX_TensorRT:

这里才是重点,由于mxnet模型不能直接在tensorrt上直接进行前向运算,所以需要先将mxnet模型转换为onnx模型,再用tensorrt对onnx模型进行前向运算,即模型转换:mxnet->onnx  tensorrt使用onnx完成计算。

首先要安装ONNX_TensorRT,开始踩坑(真是太坑了!!)

ONNX_TensorRT:

主要步骤看官方教程

https://github.com/onnx/onnx-tensorrt

第一个坑:cmake找不到cuda编译器。cmake3.15.1和3.11.1均无法找到cuda的编译器,最后安装的3.9.0成功找到编译器(期间改了无数遍环境变量各种折腾,就是找不到)

由于ONNX_TensorRT需要依赖protobuf和tensorrt,tensorrt前面已经装好了,现在安装protobuf:

https://github.com/protocolbuffers/protobuf

源码安装和pypi两种都做了,原因是两者安装完以后cmake编译时均找不到protobuf,后来更改了third_party下的CMake.lists中233行

COMMAND ${ONNX_PROTOC_EXECUTABLE} ARGS ${PROTOC_ARGS}改为

COMMAND ${Protobuf_PROTOC_EXECUTABLE} ARGS ${PROTOC_ARGS}

Protobuf_PROTOC_EXECUTABLE为定义好的环境变量名称来找到/usr/local/bin/protoc(这一步弄了两天终于编译过了)

第二个大坑:

mxnet模型转换为onnx模型和tensorrt读取onnx模型并创建engine:

mxnet在定义网络时(以下均为symbol情形)尽量将所有函数参数确定,不要用默认参数(及时它们相同),否则容易报错。

期间遇到的问题:

1、BatchNorm下attribute含有spatial,而onnx貌似不支持这一属性(本人也不太清楚spatial具体作用),在转换时注掉spatial=0

2、tensorrt读取onnx模型时发现不支持3d卷积操作,tensorrt支持的onnx operator:

https://github.com/onnx/onnx-tensorrt/blob/master/operators.md

3、源码安装的mxnet(1.3)版本转换onnx时deconv不支持,到

https://github.com/apache/incubator-mxnet/tree/fd34dc5f847192dfd522555afdf13be1eb67b72b/python/mxnet/contrib/onnx

下替换文件。

4、tensorrt调用onnx model时maxpool报错,暂不支持ospet10版本的maxpool。有些操作可以通过转换版本实现,转换版本方法:

https://github.com/onnx/onnx/blob/master/onnx/version_converter.py

最后是onnx安装:

pypi安装即可:

pip3 install onnx

标签:安装,mxnet,ONNX,tensorrt,https,onnx,com,Mxnet
来源: https://www.cnblogs.com/cloudrivers/p/12129681.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有