原文： https://clay-atlas.com/blog/2020/06/15/pytorch-cn-note-torch-cat-append/ [PyTorch] 使用 torch.cat() 在 torch tensor 中實現如 List 資料結構中的 append() 操作 在我使用 PyTorch 搭建模型的過程中，經常會在處理資料時，對於如何將資料『串接』感到不知所措。 比方說在
import torch x_data = torch.Tensor([[1.0],[2.0],[3.0]]) y_data = torch.Tensor([[2.0],[4.0],[6.0]]) class MyLinear(torch.nn.Module): def __init__(self): super().__init__() self.linear = torch.nn.Linear(1,1) def forward(se
安装（更新）好了显卡驱动以后。我们按下win+R组合键，打开cmd命令窗口。输入如下的命令。 这里cuda version 11.4 是此显卡支持的最大版本号 如果显示 C:\Users\Administrator>nvidia-smi'nvidia' 不是内部或外部命令，也不是可运行的程序或批处理文件 处理方式：将C:\Prog
一、经典召回模型 虽然深度学习发展的非常火热，但是协同过滤、逻辑回归、因子分解机等传统推荐模型仍然凭借其可解释性强、硬件环境要求低、易于快速训练和部署等不可替代的优势，拥有大量适用的应用场景。传统推荐模型仍然是深度学习推荐模型的基础，如图1所示是传统推荐模型的演化关
BERT模型入门系列（三）:Self-Attention详解 - 知乎 (zhihu.com) 读了不少书，看了不少视频，感觉这片文章最适合入门。 简洁清晰，例子好懂。 为什么需要self-attention模型?1、训练速度受限 2、处理长文本能力弱 The Illustrated Transformer – Jay Alammar – Visualizing machin
''' 模型保存： 1，保存整个网络模型，网络结构+权重参数 torch.save(model,'net.pth') 2，只保存模型的权重 torch.save(model.state_dict(),'net_params.pth') 参数（速度快，占内存少） 3，保存加载自定义模型 checkpoint={'modle':ClassNet(), 网络结构 'mod
Transformer是 Google 在2017年提出的一个新模型，Transformer 中抛弃了传统的 CNN 和 RNN，整个网络结构完全由 Attention 机制组成，并且采用了6层 Encoder-Decoder 结构。它的结构如下图。 1. 整体网络结构分为：编码层，解码层，输出层 class Transformer(nn.Module): def __init__
Pytorch实现波阻抗反演 1 引言 地震波阻抗反演是在勘探与开发期间进行储层预测的一项关键技术。地震波阻抗反演可消除子波影响，仅留下反射系数，再通过反射系数计算出能表征地层物性变化的物理参数。常用的有道积分、广义线性反演、稀疏脉冲反演、模拟退火反演等技术。 随着勘探与
目录在Win11中要干的事儿在WSL中要干的事儿安装Pytorch要干的事儿 笔记本型号：机械革命无界16pro 笔记本硬件：cpu——i712700H；gpu——RTX2050(显存4g，cuda数量2048) 软件环境：Win11，WSL2-Ubuntu20.04 在Win11中要干的事儿 更新一下系统，以免版本较老，微软不支持WSL调用gpu，在设置-->w
电脑是ubuntu20.4 Pop!_OS 20.04 LTS MX250显卡并没有列在CUDA支持的GPU里 希望文中链接的别人的博客不会消失掉。 安装了英伟达的驱动 参考了这一篇：Ubuntu 安装Nvidia显卡驱动，跟着这篇博客 ①进入bios，禁用自己的secure boot ② ubuntu-drivers devices # 查看显卡设备和显卡驱动
前言 在数据越来越多的时代，随着模型规模参数的增多，以及数据量的不断提升，使用多GPU去训练是不可避免的事情。Pytorch在0.4.0及以后的版本中已经提供了多GPU训练的方式，本文简单讲解下使用Pytorch多GPU训练的方式以及一些注意的地方。 这里我们谈论的是单主机多GPUs训练，与分布式训练
堡垒机创建conda环境，并激活进入环境 conda create -n mmclassification python=3.7 conda activate mmclassification 堡垒机安装pytorch，torchvision，cudatoolkit 下载torch，torchvision安装包 在这个网址中 pytorch | 清华大学开源软件镜像站 ，先把你需要安装的版本下载下来，然后
PyTorch Fashion(风格) 1、prepare dataset 2、design model using Class # 目的是为了前向传播forward，即计算y-hat(预测值) 3、Construct loss and optimizer (using PyTorch API) 其中，计算loss是为了进行反向传播，optimizer是为了更新梯度。 4、Training cycle (forward,backward
import torch import torch.utils.data.dataset as Dataset import numpy as np import torch.utils.data.dataloader as DataLoader Data = np.asarray([[1, 2], [3, 4], [5, 6], [7, 8]]) Label = np.asarray([[0], [1], [0], [2]]) class SubDataSet(Dataset.Dataset):
9.3. 深度循环神经网络 — 动手学深度学习 2.0.0-beta0 documentation (d2l.ai) rnn.LSTM(num_hiddens, num_layers) 通过num_layers的值来设定隐藏层数 解释了前面的问题：【动手学深度学习pytorch】学习笔记 8.6. 循环神经网络的简洁实现 - HBU_DAVID - 博客园 (cnblogs.com
https://zhuanlan.zhihu.com/p/288300334 import torch import torch.nn as nn import numpy as np a = torch.tensor([[[1.0,2.0,3.0], [4.0,5.0,6.0]], [[1.0,2.0,3.0], [4.0,5.0,6.0]]]) print(a) print(a.shap
1 什么是神经网络（机器学习） 输入层、隐藏层、输出层 首先由大量得带有标签的图片进行训练，当预测出错误的结果时，由正确结果和错误结果之间的误差进行反馈，不断进行调整，以获得更好的结果 通过激活函数对不同神经元的重要性进行调整，使得网络得到想要的结果 2 神经网络：梯度下
8.5. 循环神经网络的从零开始实现 — 动手学深度学习 2.0.0-beta0 documentation (d2l.ai) 目标：根据用户提供的文本的前缀生成后续文本 知识点：独热编码、梯度剪裁 实现细节：注意 “预热 ” 程序可分4个步骤学习 1 独热编码。读通代码，观察输出。 2 建立RNN模型。 3 使用建立好的RN
问题 有的类继承nn.Module在init函数里面是super(类名, self).init()；但是有的里面就是super().init() exp: · 解答： python2与python3的语法原因，python2使用super调用父类方法或对象时必须要加上类名，python3中无此限制
问题 关于在pytorch中冻结参数，我看网上大多都使用了 for param in net.parameters(): param.requires_grad = False 但我的需求是这样的，我创建了一个dict，里面含有对应的tensor的name与param,我想让根据这些名称对网络的参数进行冻结，这就用到了一个我们平时经常使用的
8.4. 循环神经网络 — 动手学深度学习 2.0.0-beta0 documentation (d2l.ai) 主要内容： 对隐状态使用循环计算的神经网络。 隐状态可以捕获直到当前时间步序列的历史信息。 参数数量不会随着时间步的增加而增加。 可以使用循环神经网络创建字符级语言模型。 可以使用困惑
8.3. 语言模型和数据集 — 动手学深度学习 2.0.0-beta0 documentation (d2l.ai) 这一小节有一定难度，需要耐心阅读。 主要讲了三段程序 ：自然语言统计；读取长序列数据；数据迭代器 自然语言统计 知识点：n元语法。属于NLP基础。 简单地说，一元语法就是考虑“自己”就行；二元语法要考虑“自
8.2. 文本预处理 — 动手学深度学习 2.0.0-beta0 documentation (d2l.ai) 1. 改写为读本地文件 2. 增加更多输出项，研究内部结构 编程环境：pycharm，python 3.9 将文本作为字符串加载到内存中。 将字符串拆分为词元（如单词和字符）。 建立一个词表，将拆分的词元映射到数字索引。 将
MNIST数据集的下载网站： http://yann.lecun.com/exdb/mnist/ 下载四个文件 放到文件夹里面 把上面的四个压缩文件放在raw里面 然后在进行下载一遍 就可以把剩下的没有下载的东西下载完成 在Pycharm中依然可以这么进行 剩下的就可以看我另外一篇博客 Pytorch-Dataset
1．最大池化层算法 2．平均池化算法 3．乘幂平均池化算法 4．分数池化算法 5．自适应池化算法 6．反池化算法
