(36条消息) yolov5设置GPU - CSDN python #输入库 import torch #查看版本 print(torch.__version__) #查看gpu是否可用 torch.cuda.is_available() #返回设备gpu个数 torch.cuda.device_count() #退出python quit()
本篇是针对DataWhale组队学习项目——深入浅出PyTorch而整理的学习笔记。由于水平实在有限，不免产生谬误，欢迎读者多多批评指正。 安装PyTorch 安装Anaconda 这里为了避免手动安装Python及数据科学相关的众多的package，我们直接安装Anaconda，在此基础上再安装Pytorch。 官网直接下载
pytorch 实现剪枝的思路是 生成一个掩码，然后同时保存 原参数、mask、新参数，如下图 pytorch 剪枝分为 局部剪枝、全局剪枝、自定义剪枝； 局部剪枝 是对 模型内 的部分模块 的 部分参数 进行剪枝，全局剪枝是对 整个模型进行剪枝； 本文旨在记录 pytorch 剪枝模块的用法，首先让我
1 假设你的机器上已经安装了python 和pip（没有安装的话可以参考） https://www.cnblogs.com/8335IT/p/16581772.html 2 直接安装torchvision是安装不了的，会中途报错 需要先安装pytorch 再安装torchvision 使用国内源： pip install torch -i https://pypi.tuna.tsinghua.edu.cn/s
原文链接 windows下使用pip安装torch模块，出现错误： ERROR: Command "python setup.py egg_info" failed with error code 1 in C:\Users\xxx\AppData\Local\Temp\pip-install-yqzlud5w\torch\ 方法一 尝试参考文章：https://mp.weixin.qq.com/s/u5uIjnABGXTJGo4Z3_dZQw 指定安装包
## pytorch学习(4) ### 维度变换 - view & reshape - squeeze & unsqueeze - transpose & permute - expand & repeat - contiguous #### view & reshape > view() 与 reshape() 的区别 - view() 只适用于满足连续性条件的tensor，且不会开辟新的内存空间- reshape() 的返回值既
pytorch学习(3) 索引与切片 普通索引 冒号索引（切片） index_select 选择特定索引 masked_select 选择符合条件的索引 take 索引 普通索引 index（有负索引） import torch a = torch.Tensor(2,3,32,32) print(a.shape) print(a[0].shape) print(a[0][0].shape) print(a[0][0][0][0]
pytorch学习(5) 广播机制（broadcast） 矩阵运算往往都是在两个维度相同或者相匹配(前面矩阵的列数等于后一个矩阵的行数)的矩阵之间定义的，广播机制亦是如此。在机器学习的某些算法中会出现两个维度不相同也不匹配的矩阵进行运算，那么这时候就需要广播机制来解决。 broadcast的两个特
## pytorch学习(6) ### 拼接与拆分 - cat- stack- split- chunk #### cat() - 连接给定维度中给定的张量序列- 所有张量必须具有相同的形状(拼接维度除外)或为空- torch.cat() 可以看作是 torch.split() 和 torch.chunk() 的反运算- torch.cat(inputs,dim=) ```python#正确的案例
第10讲：卷积 神经网络（基础篇） 视频教程 1.卷积神经网络 说明： 首先明确输入的张量维度多少，输出的张量维度多少，利用各种层（做特征提取），进行这个维度上或者是每个维度上尺寸大小的变化，最终把它映射到想要的输出的这个空间里面 Feature Extraction：特征提取包括卷积、下采样 Classificati
pytorch模型转换为onnx，并使用netron可视化 netron 是一个非常好用的网络结构可视化工具。 但是netron对pytorch模型的支持还不成熟。自己试的效果是生成的模型图没有连线。 目前支持的框架 根据netron的github 目前netron支持： ONNX (.onnx, .pb, .pbtxt) Keras (.h5, .keras) Core
torch.nn.DataParallel是一种能够将数据分散到多张显卡上从而加快模型训练的方法。 它的原理是首先在指定的每张显卡上拷贝一份模型，然后将输入的数据分散到各张显卡上，计算梯度，回传到第一张显卡上，然后再对模型进行参数优化。 所以，第一张显卡的负载往往更高，但由于该方法集成度高，书写
torch.optim中的优化器接收的待学习参数和学习率实际上都是字典型的数据。 因此，我们只需要将需要单独训练的模块和对应的学习率以字典形式传入即可。 例如： 此处，我们有模型model，其中包含part_1和part_2两个子模块，我们想要分别对其设置0.01与0.02的学习率，于是我们可以按照以下语法设
MAE发布以来，各种使用掩码技术的自监督掩码模型在其基础之上有了更进一步的研究。在本文中我们将探索一篇和MAE同期的工作：SimMIM: A Simple Framework for Masked Image Modeling，研究团队是微软亚研院，并在PyTorch中编写它，最后我们也会提供相关的代码。 SimMIM的骨干网络是VIT，熟悉自
1. 有已经安装好的 anaconda ，已经安装好的pytorch； 2. 打开 anaconda prompt如下图： 3. 激活pytorch (base) C:\Users\XXXXX>activate pytorch 4. 安装需要安装的工具 如安装pandas pip install pandas 一般网速较慢，使用镜像
反向传播（Back Propagation）： 视频教程 1.代码说明： forward 计算loss backward 反向计算梯度 由sgd再更新W权重 import torch x_data = [1.0, 2.0, 3.0] y_data = [2.0, 4.0, 6.0] w = torch.tensor([1.0])#选择权重，w=【1.0】 w.requires_grad = True#提醒w需要计算梯度 def for
七月总结 1. 主要任务 《CUDA编程-基础与实践》 目标： 看完+同步coding练习 进展： 月中旬已看完这本书，讲的很详细，知识点也是循序展开的，很适合入门。 总结： 1 ： 整本书以ReduceSum 核函数的编写展开，不断进行优化，能够了解到欠佳策略如何优化，从原因入手，对理解很有帮助。这本书其实是一
本文将介绍如何使用内存映射文件加快PyTorch数据集的加载速度 在使用Pytorch训练神经网络时，最常见的与速度相关的瓶颈是数据加载的模块。如果我们将数据通过网络传输，除了预取和缓存之外，没有任何其他的简单优化方式。 但是如果数据本地存储，我们可以通过将整个数据集组合成一个文件，
模型训练的开发过程可以看作是一套完整的生产流程，这些环节包括: 数据读取、网络设计、优化方法与损失函数的选择以及一些辅助的工具等，TorchVision是一个和PyTorch配合使用的Python包，包含很多图像处理工具 PyTorch中的数据读取 模型训练开始的第一步就是数据读取，PyTorch提供了十分
如果要用多GPU训练模型，那就要用到pytorch中的nn.DataParallel()函数对模型进行封装。 1 # code_for_use_cuda 2 device_count = torch.cuda.device_count()#获得本机的显卡的个数 3 print("cuda.device_count",device_count) 4 device_ids = list(range(device_count)) 5 model =
#!/usr/bin/python3.9 # -*- coding: utf-8 -*- # @Time : 2021/10/29 10:48 # @Author : nickchen121 # @Email : nickchen121@163.com # Cnblogs : https://www.cnblogs.com/nickchen121 # @File : abd_transformer_cyd.py # @Software: PyCharm import math i
PyTorch的强大并不仅局限于自身的易用性，更在于开源社区围绕PyTorch所产生的一系列工具包（一般是Python package）和程序，这些优秀的工具包极大地方便了PyTorch在特定领域的使用。比如对于计算机视觉，有TorchVision、TorchVideo等用于图片和视频处理；对于自然语言处理，有torchtext；对于图卷
参考这篇文章，讲的比较好 https://cloud.tencent.com/developer/article/1725102 C=torch.cat((A,B),0)就表示按维数0（行）拼接A和B，也就是竖着拼接，A上B下。 C=torch.cat((A,B),1)就表示按维数1（列）拼接A和B，也就是横着拼接，A左B右。
一、动量（momentum） 可以给优化器加上一个动量，可以有效缓解局部最优问题。 原理上就是让优化过程从 W = W - lr * dW 变成 V = momentum * V - lr * dW W = W + V 使用示例： from torch import optim ... model = Model() optimizer = optim.SGD(model.paramete
