标签：训练 泄露 代码 list PyTorch 内存 data

引言

• 最近采用PyTorch训练文本检测模型，遇到一个内存泄露问题，眼睁睁地看着内存一点点被占满，触发系统保护机制，被kill掉

可能出现问题地方

• loss求和未加item()
• num_workers过大
• 大量使用list转tensor

最终解决方案

• 上面几个可能，我这里都已经尝试，但是还是没有解决我这里的内存泄漏问题
• 通过比较他人的训练代码，发现了一行神奇的代码：【出处DBNet】

  data = copy.deepcopy(self.data_list[index])
  

• 我在我的dataset.py中加入这行代码，立马就没有内存泄漏了
• 但是原因尚不清楚，如果有清楚的小伙伴，欢迎留言交流。

标签：训练,泄露,代码,list,PyTorch,内存,data
来源： https://blog.csdn.net/shiwanghualuo/article/details/120554560

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。