Tensors 张量 张量是一种特殊的数据结构，与数组和矩阵非常相似。 在 PyTorch 中，我们使用张量来编码模型的输入和输出，以及模型的参数。 张量类似于 NumPy 的 ndarray，张量可以在 GPU 或其他支持硬件加速器上运行。 事实上，张量和 NumPy 数组通常可以共享相同的底层内存，从而无需复
今天学习了用pytorch框架进行线性模型的搭建。 import torchx_data = torch.tensor([[1.0], [2.0], [3.0]])y_data = torch.tensor([[2.0], [4.0], [6.0]])class LinerModel(torch.nn.Module): def __init__(self): super(LinerModel, self).__init__()#父类的初始化函
机器上加了RTX3060的卡，cuda装的11.1的版本，cudnn还不是特别清楚装的哪个版本？vs是2017这个版本的。下面来装pytorch。主要参考这个网站的内容“https://blog.csdn.net/weixin_43760844/article/details/115612970”。 在anaconda里输入这几行代码 import torch import tensorflow as
点击查看代码 import torch from torch import nn from d2l import torch as d2l batch_size, num_steps = 32, 35 train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps) # 参数初始化 def get_lstm_params(vocab_size, num_hiddens, device): num_in
点击查看代码 import torch from torch import nn from d2l import torch as d2l """ 额外的控制单元 """ batch_size, num_steps = 32, 35 train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps) # 初始化模型参数 def get_params(vocab_size
目前常见的有两种方法： 一、保存和加载整个模型：torch.save() + torch.load() 示例： torch.save(model, '/path/xxx.pth') model = torch.load('/path/xxx.pth') 二、仅保存和加载参数：torch.save() + torch.load_state_dic() 示例： torch.save(pre-trained_model, "/path/xxx.pt
def train(epoch): model.train() train_loss = 0 for data, label in train_loader: data, label = data.cuda(), label.cuda() # 将数据放入显卡 optimizer.zero_grad() output = model(data) loss = cri
背景介绍 Neural Network之模型复杂度主要取决于优化参数个数与参数变化范围. 优化参数个数可手动调节, 参数变化范围可通过正则化技术加以限制. 本文从参数变化范围出发, 以Batch Normalization技术为例, 简要演示Batch Normalization批归一化对Neural Network模型复杂度的影响
【视频来源】 一 python安装环境 pycharm+anaconda 二 创建python虚拟环境以及pip国内源设置 1创建： 目前兼容性比较好的版本 conda create -n py38 python=3.8 问题1：Collecting package metadata (current_repodata.json): faile 解决方案一 问题2：终端前有PS 输入CMD（PS表示py
前言 博主在运行edgeai_yolov5的时候，出现了一些意料之外的错误，记之。 问题： NVIDIA GeForce RTX 3080 Ti with CUDA capability sm_86 is not compatible with the current PyTorch installation. The current PyTorch install supports CUDA capabilities sm_37 sm_50 sm_60 sm_7
pytorch默认使用单精度float32训练模型，其主要原因为：使用float16训练模型，模型效果会有损失，而使用double(float64)会有2倍的内存压力，且不会带来太多的精度提升，因此默认使用单精度float32训练模型。 由于输入类型不一致导致报错： PyTorch:expected scalar type Float but found Dou
点击查看代码 import torch from torch import nn from d2l import torch as d2l """
原文： https://clay-atlas.com/blog/2020/06/15/pytorch-cn-note-torch-cat-append/ [PyTorch] 使用 torch.cat() 在 torch tensor 中實現如 List 資料結構中的 append() 操作 在我使用 PyTorch 搭建模型的過程中，經常會在處理資料時，對於如何將資料『串接』感到不知所措。 比方說在
原文： https://clay-atlas.com/blog/2020/06/15/pytorch-cn-note-torch-cat-append/ [PyTorch] 使用 torch.cat() 在 torch tensor 中實現如 List 資料結構中的 append() 操作 在我使用 PyTorch 搭建模型的過程中，經常會在處理資料時，對於如何將資料『串接』感到不知所措。 比方說在
遇到个离谱的事情，自定义数据集跑cross entropy loss的时候， loss1 = w_loss.loss(log_ps1, source_batch_labels) loss1.backward() backward()这里总是报错，搞了半天最后发现是数据集设定的时候，给labels是int32，但是实际上得设置成int64 # toy_source数据类型转化 source_
机器学习模型的并行训练方法概括分为两类： 1、数据并行 2、模型并行 关于两者区别可参考 https://leimao.github.io/blog/Data-Parallelism-vs-Model-Paralelism/ 数据并行 pytorch提供了torch.nn.parallel.DistributedDataParallel接口实现模型并行训练，具体可参考
import torch x_data = torch.Tensor([[1.0],[2.0],[3.0]]) y_data = torch.Tensor([[2.0],[4.0],[6.0]]) class MyLinear(torch.nn.Module): def __init__(self): super().__init__() self.linear = torch.nn.Linear(1,1) def forward(se
BERT模型入门系列（三）:Self-Attention详解 - 知乎 (zhihu.com) 读了不少书，看了不少视频，感觉这片文章最适合入门。 简洁清晰，例子好懂。 为什么需要self-attention模型?1、训练速度受限 2、处理长文本能力弱 The Illustrated Transformer – Jay Alammar – Visualizing machin
''' 模型保存： 1，保存整个网络模型，网络结构+权重参数 torch.save(model,'net.pth') 2，只保存模型的权重 torch.save(model.state_dict(),'net_params.pth') 参数（速度快，占内存少） 3，保存加载自定义模型 checkpoint={'modle':ClassNet(), 网络结构 'mod
pytorch 和tensorflow 中最重要的概念就是tensor了，tensorflow 这个框架的名字中很直白，就是tensor的流动，所以学习深度学习的第一课就是得搞懂tensor到底是个什么东西了，今天就来学习下，OK，起飞 1.tensor到底是啥 tensor 即“张量”（翻译的真难理解，破概念）。实际上跟numpy数组、向量、矩
Pytorch实现波阻抗反演 1 引言 地震波阻抗反演是在勘探与开发期间进行储层预测的一项关键技术。地震波阻抗反演可消除子波影响，仅留下反射系数，再通过反射系数计算出能表征地层物性变化的物理参数。常用的有道积分、广义线性反演、稀疏脉冲反演、模拟退火反演等技术。 随着勘探与
最近在读yolov5 的源码，发现了一些小地方以前没有注意过，特此记录 其中有一行： save_dir = increment_path(Path(project) / name, exist_ok=exist_ok) 这个是一个存储地址，但是是用了 / 直接拼接的，刚开始读的时候非常疑惑，然后发现原来作者用的并不是os.path，而是pathlib模块，该模块支
1、导入库 # 设置图片画在网页上 %matplotlib inline import random import torch from d2l import torch as d2l 2、人工模拟数据 # 定义一个方法，生成人造数据集 def synthetic_data(w, b, num_examples): """生成 y = Xw + b + 噪声""" # 返回一个随机的张量 # no
前言 在数据越来越多的时代，随着模型规模参数的增多，以及数据量的不断提升，使用多GPU去训练是不可避免的事情。Pytorch在0.4.0及以后的版本中已经提供了多GPU训练的方式，本文简单讲解下使用Pytorch多GPU训练的方式以及一些注意的地方。 这里我们谈论的是单主机多GPUs训练，与分布式训练
1、情景 pytorch的模型，torch.jit.trace转换成pt文件 然后通过C++加载调用模型； 2、报错内容： terminate called after throwing an instance of 'std::runtime_error' what(): Input and hidden tensors are not at the same device, found input tensor at cuda:1 and
