标签：记录 E5% 合并 TensorRT E7% E6% 垂直 原理

TensorRT是什么？

TensorRT是NVIDIA公司推出的模型加速工具，类似于常用的工具库。

TensorRT做什么？

TensorRT负责模型的推理（inference）过程，不用TensorRT训练模型。

TensorRT能加速的原因是什么？

（1）TensorRT支持kFLOAT（float32）、kHALF（float16）、kINT8（int8）三种精度的计算，在使用时通过低精度进行网络推理，达到加速的目的。

（2）TensorRT对网络结构进行重构，把一些能合并的运算合并在一起，根据GPU的特性做了优化。具体方法为（a）垂直合并;（b）水平合并。

（a）垂直合并：垂直合并是将目前主流神经网络结构的Conv、BN、Relu三个层融合为一个层。

（b）水平合并：水平合并是指将输入为相同张量和执行相同操作的层融合在一起。

举例说明：

原网络结构如下图所示：

垂直合并：

再进行水平合并：

结。

参考：

https://zhuanlan.zhihu.com/p/64933639
http://www.iterate.site/post/01-%E6%8E%A2%E7%B4%A2/13-%E7%AE%97%E6%B3%95%E6%A1%86%E6%9E%B6/14-%E6%A8%A1%E5%9E%8B%E5%8A%A0%E9%80%9F/71-tensorrt/02-tensorrt-%E5%8A%A0%E9%80%9F%E5%8E%9F%E7%90%86/

标签：记录,E5%,合并,TensorRT,E7%,E6%,垂直,原理
来源： https://www.cnblogs.com/zhibei/p/12331292.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。