ICode9

精准搜索请尝试: 精确搜索
首页 > 系统相关> 文章详细

pytorch torch.save()方法保存数据被强制杀死进程,报错:killed 端口号 PYTHONUNBUFFERED=1

2021-10-02 14:34:55  阅读:251  来源: 互联网

标签:内存条 swapfile Ubuntu 报错 swap 端口号 PYTHONUNBUFFERED save 虚拟内存


使用pytorch的来保存变量的时候,被Ubuntu系统强制杀死,其实原因主要就是因为内存不够,这是Ubuntu的一种自我保护机制,为了防止还加载大数据时内存不够而导致系统崩溃,所以采取的一种系统自我保护措施,我大概是保存了20个G的数据,用torch.save保存成pt文件,都加载完了,结果save的时候被杀死。
解决方法:
设置虚拟内存swap。其实目的就是为了在内存条的容量不够的时候,用硬盘上临时画出来的空间来代替内存条。当然,swap肯定是不如内存条读写快的,所以要费劲一些,但是可以解决内存爆掉的问题呢。
Ubuntu扩充swap的方法:
1、找个固定的位置,新建一个文件夹

mkdir swap

2、设置虚拟内存大小,count就是内存大小,单位是G,这个就是16G,执行成功的结果大概就是记录了啥啥的写入

sudo dd if=/dev/zero of=swapfile bs=1073741824 count=16

3、这步执行成功会输出一个UUID的号

sudo mkswap swapfile

4、最后一步,这一步执行时间较长,不要着急,耐心等待,

sudo swapon swapfile

5、成功后使用top命令测试下,swap那一项就是虚拟内存空间

top

标签:内存条,swapfile,Ubuntu,报错,swap,端口号,PYTHONUNBUFFERED,save,虚拟内存
来源: https://blog.csdn.net/weixin_39417324/article/details/120585515

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有