目标： 介绍深度学习经典和最新的模型 LeNet、ResNet、LSTM、BERT.....机器学习基础 损失函数、目标函数、过拟合、优化实践 使用Pytorch实现介绍的知识点在真实数据上体验算法效果 内容： 深度学习基础——线性神经网络、多层感知机卷积神经网络——LeNet、AlexNet、V
为了方便进行数据的操作，pytorch团队提供了一个torchvision.transforms包，我们可以用transforms进行以下操作： PIL.Image/numpy.ndarray与Tensor的相互转化； 归一化； 对PIL.Image进行裁剪、缩放等操作。 通常，在使用torchvision.transforms，我们通常使用transforms.Compose将transfo
1 nn.L1Loss torch.nn.L1Loss(reduction='mean') 就是 MAE(mean absolute error)，计算公式为 $\ell(x, y)=L=\left\{l_{1}, \ldots, l_{N}\right\}^{\top}, \quad l_{n}=\left|x_{n}-y_{n}\right|$ $\ell(x, y)=\left\{\begin{array}{ll}\opera
1 保存和加载整个模型 torch.save(model_object, 'model.pth') model = torch.load('model.pth') 2 仅保存和加载模型参数 torch.save(model_obj.state_dict(), 'params.pth') model_obj.load_state_dict(torch.load('params.pth')) 3 选择保存网络中
首先 pip install 失败，更新pip python -m pip install --upgrade pip 然后 在去pytorch 官网选择适合的版本 （我的是笔记本） 最后 直接在Pycharm - Terminal 输入 ： pip3 install torch torchvision torchaudio 即可
这个东西，本质上和nn.BCELoss()没有区别，只是在BCELoss上加了个logits函数(也就是sigmoid函数)，例子如下： import torch import torch.nn as nn label = torch.Tensor([1, 1, 0]) pred = torch.Tensor([3, 2, 1]) pred_sig = torch.sigmoid(pred) loss = nn.BCELoss() print(loss(pr
PyTorch消除训练瓶颈 提速技巧 1. 硬件层面 CPU的话尽量看主频比较高的，缓存比较大的，核心数也是比较重要的参数。 显卡尽可能选现存比较大的，这样才能满足大batch训练，多卡当让更好。 内存要求64G，4根16G的内存条插满绝对够用了。 主板性能也要跟上，否则装再好的CPU也很难发挥出全部性
第1章 Pytorch介绍与基础知识 大家好，本章是主要介绍一下深度学习框架Pytorch的的历史与发展，主要模块构成与基础操作代码演示。重点介绍Pytorch的各个组件、编程方式、环境搭建、基础操作代码演示。本章对有Pytorch开发经验的读者来说可以直接跳过；对初次接触Pytorch的读者来说，通
手动优化和自动优化 自动优化。使用lightning,你不需要担心何时启用/禁用梯度的计算，做反向传播，或者更新优化器等。只要你在training_step中返回一个带有loss的图，Lightning就会自动进行优化。 def training_step(self, batch, batch_idx): loss = self.encoder(batch)
文章目录 1. 读取文本数据制作成pytorch专用数据集2. 对句子进行分词得到词库3. 构建DataLoadar https://pytorch.org/tutorials/beginner/text_sentiment_ngrams_tutorial.html https://github.com/lankuohsing/pytorch-study/tree/main/utils/text_pipline 1. 读取
在我们平常面试和工程中会用到BN和LN，但或许没有去了解过BN和LN到底在那个维度上进行的正则化（减均值除以标准差）。下面将会采用各种例子来为大家介绍BN层和LN层各个参数以及差别。 一、BatchNorm(批标准化)： BatchNorm一共有三个函数分别是BatchNorm1d，BatchNorm2d，BatchNo
分享一份 分类任务的 主函数文件，对于新人十分有帮助，对于老人也有一定的帮助 # !/usr/bin/env python # -*- coding:utf-8 -*- # @Time : 2022.3 # @Author : 绿色羽毛 # @Email : lvseyumao@foxmail.com # @Blog : https://blog.csdn.net/ViatorSun # @Note :
Ubuntu 20.04 系统下（子系统）深度学习环境配置 ( Pytorch + GPU )
背景 看到这个，我相信你对Pytorch Lightning 有一定了解。虽然Pytorch已经很好了，但是在工程上，论文复现上等等，我们有时需要根据论文快速复现模型、有时有了好的idea想快速实现、有时工程上需要不断调优等等。这时我们就需要一个工具，能够快速使用他去实现模型，调优等。 前段时间
1.接受local_rank的参数（） 不能自己替换--local_rank的数值 如果有import导入dataloader，init的代码必须要在dataloader之前。 import argparse # 运行时，torch.distributed.lunch 会自动传入参数0，1，2来表示是第几个进程 parser = argparse.ArgumentParser() parser.add_argument('--
最近几天走了n多弯路 大概做一下总结 1.如果是n卡的话就nvidia-smi 看一下driver版本 根据driver版本再选择cuda版本 (学校的没有公用cuda 装了几次新版才发现这个问题 具体版本的下载地址百度/Google一下都能找到 因为没有sudo 所以要把路径都放到自己的文件夹里 也不要尝
Ubuntu跑算法心得记录 一、Ubuntu终端各种快捷命令1.1 终端美化1.2 信息传输1.2.1 与Windows互传信息 二、Pytorch使用2.1 Pytorch安装2.1.1 安装途径2.1.2 安装BUG2.1.3 安装环境查看技巧 2.2 Conda内嵌Pip安装2.3 Pytorch技巧2.3.1 技巧函数2.3.2 功能函数 三、其他各
文章目录 1. 参考资料2. 图像卷积2.1 互相关运算（cross-correlation）2.2 学习卷积核2.3 特征图和感受野 3. 填充和步幅（padding and stride）3.1 填充（padding）3.2 步幅（stride） 4. 多输入多输出通道4.1 多输入通道4.2 多输出通道4.3
在做二维目标检测时，我们会对神经网络的部分地方进行修改，比如增加CBAM，或者修改FPN等等。但是将修改后的网络进行训练时，加载预训练权重过程却不会报错，甚至修改网络后性能不增反降。这里面蕴含的知识点在这篇文章做做一个总结。 pytorch中网络导入预训练权重的代码很简单： net = mod
在很多pytorch教程中pytorch配置jupyter这一步使用的都是“ conda install nb_conda”这一命令，但是在安装中会发现安装不了，如下图所示，而且网上的解决方法也都距离现在比较远所以也没有很好的效果，所以在我解决之后我就想把这最新的方法与各位也苦于解决这一问题的各位分享。 经
1. 网络训练 本项目采用的代码为pytorch-Unet，链接为：GitHub - milesial/Pytorch-UNet: PyTorch implementation of the U-Net for image semantic segmentation with high quality images。 该项目是基于原始图像的比例作为最终的输入，这个对于数据集中图像原始图片大小不一致的情
自动差分引擎¶ torch.autograd是 PyTorch 的自动差分引擎，可为神经网络训练提供支持。 1. 背景¶ 神经网络（NN）是在某些输入数据上执行的嵌套函数的集合。 这些函数由参数（由权重和偏差组成）定义，这些参数在 PyTorch 中存储在张量中。 训练 NN 分为两个步骤：
转载自https://www.cnblogs.com/sbj123456789/p/10839020.html，侵删 Pytorch中的Tensor常用的类型转换函数（inplace操作）： （1）数据类型转换 在Tensor后加 .long(), .int(), .float(), .double()等即可，也可以用.to()函数进行转换，所有的Tensor类型可参考https://pytorch.org/docs/s
import numpy as np import matplotlib.pyplot as plt import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torch.utils.data import Dataset,DataLoader import h5py import glob import os import json from tqdm impo
工具函数 dir函数，让我们直到工具箱，以及工具箱中的分隔区有什么东西 help函数，让我们直到每个工具是如何使用的，工具的使用方法 示例：在pycharm的console环境，输入 import torch dir(torch.cuda.is_available()) 即可查看该工具包 help(torch.cuda.is_available()) DataSet DataSet
