标签：onnxruntime onnx 报错 进程 推理 multiprocessing

在使用onnx模型进行python的多进程推理的时候，遇到这个报错。搞明白报错原因之后，这里给出一个解决办法
使用python多进程进行ONNX和torch模型的的推理时候，习惯性把初始化构建推理引擎，初始化模型这个操作放在主进程，一般来讲都是这样做的，子进程只负责推理。在设置为multiprocessing.set_start_method(‘spawn’)，torch可以正常多进程推理。onnx这样的话

import onnxruntime as rt
from multiprocessing import Process
multiprocessing.set_start_method('spawn')
def infer_process(sess,arg):
	pass
sess = rt.InferenceSession("./mine.onnx")
p1 = Process(target=infer_process,args=(sess,args1,))

是会报错"can’t pickle onnxruntime.capi.onnxruntime_pybind11_state.SessionOptions objects"。这是因为python的多进程在multiprocessing .Process在传参时需要用pickle对参数进行序列化操作，但是onnx的推理引擎不在可序列化类型中，属于复杂类型，但是pytorch的model是可以。这时候需要把onnx模型的推理引擎构建放到子进程中。
但这样就相当于每次都额外增加耗时。自己这边采用使用队列的方式，把这个子进程中的初始化onnx引擎放在while循环的外面，然后再循环内读取队列。

标签：onnxruntime,onnx,报错,进程,推理,multiprocessing
来源： https://blog.csdn.net/qq_36276587/article/details/119913628

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。