标签：get Python workers dataloader 15128 train 报错 256

batch_size = 2# 256
def get_dataloader_workers():  #@save
    """使用4个进程来读取数据。"""
    return 4

train_iter = data.DataLoader(mnist_train, batch_size, shuffle=True, num_workers=get_dataloader_workers())

timer = d2l.Timer()
for X, y in train_iter:
    continue
f'{timer.stop():.2f} sec'

问题：动手学深度学习2.0，softmax回归，读取小批量数据是出现超时报错。具体如下：

 我的环境是：Anaconda 的虚拟环境，使用jupyter notebook进行编译，电脑是联想拯救者R720，i5处理器；

我所使用的CPU运行，最初是批量256张图片数据，同时使用4线程进行读取，此时会报错！

查阅网上的回答，说最可能的原因是;

• cuda 虚拟环境的共享内存不足，解决办法是，要么改成更小的batchsize，
• 将numworkers = 4注释掉,不用多进程

解决过程：

1、只将batchsize改小，变为2，依旧报错

2、将进程num_workers=get_dataloader_workers()改为0、1、2可以使用

估计还是电脑太差了不太行的缘故，毕竟用了快四年了。

后续我又试着将batchsize改回256，依旧可以运行，但是有时候多运行几次就会报错，估计是缓存内存不够的缘故，我只要重新启动内核，运行一次，就可以了。

标签：get,Python,workers,dataloader,15128,train,报错,256
来源： https://www.cnblogs.com/longyi8013/p/14880432.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。