4.classification 分类模型的输出 若是将不同分类编号作为真值，可能让模型误认为相邻的分类是相近的，因此使用向量表示不同类别。 模型最后的输出值需要softmax处理，使得输出值落在0-1区间。softmax和标准化类似。 分类模型loss function 分类模型的loss通过cross-entropy计算，
李宏毅《深度学习》笔记（五） 网络设计的技巧 对于梯度下降法会遇到各种不顺利的情况，比如经过梯度下降之后的损失函数仍然比较大，又比如梯度为零无法下降等。对于这些错误的特殊值，统称为临界值（Critical Point）。临界值可以有局部最低点（Local Minima）和鞍点（Saddle Point）。具体例
1.Critical Point 的判断和解决 在模型训练过程中，我们可能会遇到模型loss function无法下降的情况，这可能是遇到了critical point。通过Taylor series approximation，我们可以判断某点是否为critical point以及critical point的性质。 通过Taylor series approximation表示该点附近
一、梯度下降 二、BP算法
神经网络简介 神经网络的三个步骤 Step1：神经网络（Neural network） Step2：模型评估（Goodness of function） Step3：选择最优函数（Pick best function） Step1：神经网络 神经网络是由很多单元连接而成，这些单元称为神经元。 神经网络类似于人类的神经元，在电信在神经元上传递，类似于的神经网络
误差 模型的误差来源有两个，分别是误差（bias）和方差（variance）。 不同复杂程度的模型倾向于不同的误差类型，复杂度较低的模型的方差较小，也就更集中，但是偏差较大，易欠拟合；复杂模型离散程度更大，但偏差小，易过拟合。 我们要做的，就是在两种误差中权衡，找出相对平衡的模型。 误差改进 偏差大
任务编号 任务名称 打卡链接 Task03 误差和梯度下降 误差：https://www.cnblogs.com/coct/p/15020994.html 梯度下降： https://www.cnblogs.com/coct/p/15022126.html
参考链接：https://datawhalechina.github.io/leeml-notes 文章目录 一、深度学习的发展趋势二、深度学习的三个步骤2.1 神经网络（Neural network）2.2 模型评估（Goodness of function）2.3 选择最优函数（Pick best function） 三、反向传播四、总结 一、深度学习的发展趋势 回顾一
参考链接：https://github.com/datawhalechina/leeml-notes 文章目录 第一部分 误差一、误差的来源二、偏差和方差2.1 偏差2.2 方差 三、方差偏差的判断3.1偏差大-欠拟合3.2方差大-过拟合 四、模型选择4.1交叉验证4.2 N-折交叉验证 第二部分 梯度下降一、回顾: 梯度下降法二
Regression 是一种机器学习的 task，即指 machine 找到的 function，它的输出是一个 scalar，这就叫做 regression。这次就来学习搭建一个用于预测宝可梦进化后的combatpower（cp）值的机器学习模型。 模型搭建步骤 模型假设，根据问题复杂程度选择模型（线性模型） 模型评估，判断众多模型的好坏（损
一、回归定义 找到一个函数，通过输入特征x，输出一个数值结果。 二、模型步骤 （what）模型假设，选择模型框架（线性模型） （why）模型评估，如何判断众多模型（不同参数）的优劣（损失函数） （how）模型优化，如何筛选最优的模型（梯度下降） 三、回归模型 1、线性回归： 一元线性回归 多元线性回归 lasso回
本文作为自己学习李宏毅老师2021春机器学习课程所做笔记，记录自己身为入门阶段小白的学习理解，如果错漏、建议，还请各位博友不吝指教，感谢！！ 概率生成模型 概率生成模型（Probabilistic Generative Model）简称生成模型，指一系列用于随机生成可观测数据的模型。 假设在一个连续或离散
李宏毅深度学习笔记 李宏毅机器学习P1、P2 机器学习介绍 人工智能起源于二十世纪五十年代，目标是希望机器可以跟人一样聪明。二十世纪八十年代，出现了机器学习的方法。机器学习，顾名思义，就是让机器具有学习的能力。 人工智能是我们想要达成的目标，而机器学习是达成目标的手段，机
一、AI的起源 人工智能AI不是新的词汇，早在1950年代就有了。 那么这个词意味着什么呢？这个词意味着一个人类长远以来的目标，希望机器可以跟人一样的聪明。在科幻小说里面，我们看要很多这样的幻想和期待。但很长段时间里面，人们并不知道怎么做到人工智能这件事情，直到后来，大概 1980
Basic Concept 1.Error Error 来源于bias（误差，期望歪了）和variance（方差，模型能覆盖的范围）。 bias大：underfitting欠拟合 原因：模型不够复杂，覆盖范围不够广 Variance大：overfitting过拟合 原因：模型太复杂，覆盖范围太大 2.Solution Bias： more feature inputmore complex model Varia
李宏毅老师的机器学习视频是机器学习领域经典的中文视频之一，也被称为中文世界中最好的机器学习视频。李老师以幽默风趣的上课风格让很多晦涩难懂的机器学习理论变得轻松易懂，并且老师会通过很多有趣的例子结合机器学习理论在课堂上展现出来，并且逐步推导深奥的理论知识。 为什
【01】 学习资料 LeeML-Notes BiliBili Video B站网页端自带的笔记小工具挺好用的，截图功能超爽！ 【02】课程内容 01 闲聊 AI是个早在上世纪五十年代就被提出来的概念，但当时只是有这么个目标，并不知道该怎么做。 机器学习是实现这个目标的手段，吴恩达老师的课里用ETP去定义： 经验
第一节机器学习概述 1.机器学习任务 梯度下降local minma和global minma不是最大问题 复杂的函数是由多个函数相加而成，单个函数可以用激活函数（例如sigmoid）加上不同的参数w,b,c来生成，最后将单个函数相加得到总体函数，这种实现就是线性层（Linear） 该节疑问：问什么不把神经网络
More about Auto-encoder 文章目录 More about Auto-encoder摘要1、More than minimizing reconstruction error1.1 回顾Auto-encoder1.2 What is good embedding?1.3 Typical auto-encoder is a special case 2 Squential Data2.1 Skip thought2.2 Quick thought2.3 Contr
Unsupervised Learning: Deep Auto-encoder 文章目录 Unsupervised Learning: Deep Auto-encoder摘要1、Deep Auto-encoder1.1 Auto-encoder思想1.2 Deep Auto-encoder思想1.3、Deep的优势 2、应用2.1 Auto-encoder—Text Retrieval2.2 Auto-encoder—Similar Image Search
2021李宏毅机器学习笔记--12 attack ML models 摘要一、图像模型的攻击1.1原理1.2Constraint1.3参数训练1.4一个例子1.5攻击方法1.5.1FGSM(Fast Gradient Sign Method) 1.6黑盒攻击1.7拓展研究1.7.1普遍对抗攻击(Universal Adversarial Attack)1.7.2对抗性重新编程(Adversa
我已经有两年 ML 经历，这系列课主要用来查缺补漏，会记录一些细节的、自己不知道的东西。 已经有人记了笔记（很用心，强烈推荐）：https://github.com/Sakura-gh/ML-notes 本节内容综述 本节课由助教纪伯翰讲解。本次演讲的标题为“New Architecture”。 助教建议：一般，我们不要一顿乱用 tri
我已经有两年 ML 经历，这系列课主要用来查缺补漏，会记录一些细节的、自己不知道的东西。 已经有人记了笔记（很用心，强烈推荐）：https://github.com/Sakura-gh/ML-notes 本节内容综述 本节课继续由助教Arvin Liu讲解，内容为 Network Pruning 。 首先来复习一下 Neuron Pruning in DNN 。
我已经有两年 ML 经历，这系列课主要用来查缺补漏，会记录一些细节的、自己不知道的东西。 已经有人记了笔记（很用心，强烈推荐）：https://github.com/Sakura-gh/ML-notes 本节内容综述 为什么提出模型压缩？因为我们有把Deep Model放在移动端设备的需求，因此要压缩空间、加快计算速度。 李老
