李沐 - 如何判断（你自己的）研究工作的价值 用有新意的方法，有效地解决一个，研究问题 研究 技术类问题分为两大类，研究类和工程类 工程问题，方案在没试之前就知道有效 研究问题，方案在没试之前不知道是否有效 有效 一个具有相对性的概念，相对于之前的工作，有效性有所提升 新意 对本领域而
因为我个人不喜欢听一个老师重复讲而喜欢听多位老师讲同一个东西所以整理了一下这份清单，我觉得比我自己的学习顺序要好一些！ attention本质还是权重（？ （可选）前置知识：词嵌入、表征（文章）：完全没接触NLP的我觉得它讲的真的挺清楚 （可选）了解transformer的基本结构（视频）：看这个封面真的没想到
4 月 10 日课程笔记 讲课大纲 感知机（历史模型） 感知机的模型为： \[o = \sigma(\langle w,x \rangle + b) \] \(w\) 权重 \(x\) 输入 \(b\) 偏移 \(\sigma\) 符号函数（对正数输入，输出 1，否则输出 -1） \(o\) 输出 训练感知机的算法（用 python 伪代码表示）： w, b = 0, 0 while True: for x,
3 月 28 日 课程笔记 讲课大纲 分类问题的例子 回归是单连续数值的输出，而分类通常有多个输出，输出 \(O_i\) 是第 \(i\) 类的置信度。 从回归过渡到多分类 对类别进行一位有效编码 \(y = [y_1, y_2, ..., y_n]^T\)（这种编码方式叫做 one-hot encoding，相比于直接编码成类别的序号，去
import torch from torch import nn from d2l import torch as d2l import matplotlib.pyplot as plt n_train, n_test, num_inputs, batch_size = 20, 100, 200, 5 true_w, true_b = torch.ones((num_inputs, 1)) * 0.01, 0.05 train_data = d2l.synthetic_data(true_w, tru
依然是pycharm环境，图像显示部分和jupyter不一样 import torch import matplotlib.pyplot as plt from IPython import display from d2l import torch as d2l d2l.use_svg_display()#!!!! # help(d2l.use_svg_display()) batch_size=256 train_iter,test_iter=d2l.load_data_
网友：说明MLP是一种稠密的特征提取方式，而人类学习到的很有可能是一种稀疏的特征。全连接意思就是上一层的任何一个结点和下一层的所有节点都有连接。 网友：其实简单的理解就是，卷积核遇到和自己相似的，会极度膨胀，遇到和自己不一样的，会极度缩小；卷积就是特征提
输入为n，隐藏层为m，x就是n维向量，每个x到隐藏层每个节点都有一个w，所以W1是m*n，b1表示每个隐藏层节点处的偏差，为m维。
课程主页 B站视频 PS：李老师dbq，我尽量将您截的图好看些 1.1 课程介绍
李沐老师是我比较敬佩的深度学习“大神”，之前我在公众号推荐过他的两篇文章。 李沐大神新作：用梯度下降来优化人生 亚马逊首席科学家李沐博士：工作五年反思 也推荐过他的著作：全球175所大学教材：《动手学深度学习》（中文版下载） 可能还有同学不知道李沐，这里简单介绍一下他的履历。 他是
1.课程介绍 视频链接 首先介绍了机器学习作为技术本身, 它的大致构成以及所面临的一些挑战. 然后讲述学习机器学习，你会变成什么样的角色. 最后讲述了本课程中会涉及到哪些主题. 举例：房价预测问题 工业界中应用机器学习的基本流程 机器学习的应用是一个循环过程. 他从问题表
回归：估计一个连续值（房价问题） 分类：预测一个离散类别（预测图片中是猫是狗） kaggle上的分类问题：将人类蛋白质显微镜图片分成28类、将恶意软件分成9类、将恶意的Wikipedia评论分成7类。 损失函数： softmax回归从0开始实现 import matplotlib.pyplot as plt import to
标量： 向量： 矩阵： 特殊矩阵： 线性代数实现： import torch # 标量由只有一个元素的张量表示 x = torch.tensor([3.0]) y = torch.tensor([2.0]) print(x+y, x*y, x/y, x**y) # 可以将向量视为标量值组成的列表 x = torch.a
1、注册带有参数的层时候就要使用nn.Parameter（） self.pos_embedding = nn.Parameter(torch.randn(1, num_patches+1, dim)) self.cls_token = nn.Parameter(torch.randn(1, 1, dim)) self.v=nn.Parameter() self.v=nn.Linear() 要将左侧的v注册成为参数，右侧就需要进行nn.Para
本地安装d2l 由于之前试了很多次d2l课本的安装方法失败了，这里提供一种我可以成功安装d2l包的方法。 pytorch安装 首先安装cuda、cudann、pytroch（gpu版本）。可以参考这篇文章。 神经网络学习小记录48——windows下的torch=1.2.0环境配置_Bubbliiiing的学习小课堂-CSDN博客_神经
我的1650： 李沐的1050： 显卡天梯图： 1650跑alexnet： 1050：
一、 导入 1 import torch 2 from torch import nn 3 from d2l import torch as d2l 4 5 batch_size = 256 6 train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size) 二、初始化参数 # PyTorch不会隐式地调整输入的形状。因此， # 我们在线性层前定义了展平层（fla
使用 AWS 最便宜的 GPU 实例 - 动手学深度学习v2 https://www.bilibili.com/video/BV1MA411L78X?t=493 先创建好实例，这里根目录给了30G，按照视频里的给20G安装pytorch时会显示空间不足。（越大费用会越贵，各位请按需选择） 本文主为自己这个小白记录一下，也方便以后学习，先
使用AWS最便宜的GPU实例 from 动手学深度学习v2 李沐大神 视频链接https://www.bilibili.com/video/BV1MA411L78X?t=493 由于购买的电脑没有配NVIDIA独立显卡，故在学习到AlexNet的时候就没办法在CPU上运行相关代码，感谢李沐大神手把手教学使用AWS最便宜的GPU实例，视频有点加速，本
