标签:received shell ulimit items RuntimeError unlimited kbytes file size
版权声明:本文为转载,出处:pytorch错误:RuntimeError: received 0 items of ancdata解决 - 碧水青山 - 博客园
1. 错误说明
RuntimeError: received 0 items of ancdata是在dataloader加载数据时出现的错误
2. 原因
pytorch多线程共享tensor是通过打开文件的方式实现的,而打开文件的数量是有限制的。
3. 解决办法
通过
ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 128088
max locked memory (kbytes, -l) 16384
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 128088
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
可查看,当需共享的tensor超过open files限制时,即会出现该错误。
1、增加open files的限制数量:
不能用sudo ulimit -n命令,而需执行:
sudo sh -c "ulimit -n 65535 && exec su $LOGNAME"
解释如下:
1 2 3 4 5 |
|
2、修改多线程的tensor方式为file_system(默认方式为file_descriptor,受限于open files数量):
torch.multiprocessing.set_sharing_strategy('file_system')
标签:received,shell,ulimit,items,RuntimeError,unlimited,kbytes,file,size 来源: https://blog.csdn.net/weixin_43019673/article/details/122350003
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。