标签：12 函数 损失 supervised 2022 learning week1 lecture network

---

 

---

 

上海—小雨

2022秋week1

9月12日

---

 

计算机视觉：

why cv matters？

for safety health security comfort fun access and so on.

course contects:

1. 1. salieny detection
   2. segmentation
   3. object detection
   4. object recognition
   5. image recognition
   6. video processing

categories for ML

Transfer learning

---

---

深度学习：

lecture notes 01:

lecture logistic

intro to deep learning

machine learning review

Artificial neurons

General learning process

 

 deep learning is using the deep neural network as the map function.

 

The Inspiration of using neural network to solve problem came from visual cortex. PAPER LINK

Deep network is more compactly and learn more representation of input data.

 

Math review

• Gradient

 

• Local and global minima

Necessary condition: The derivative is zero

Sufficient condition: Hessian is positive definte     about Hessian matrix ,we can go to LINK and Taylor formula.

•  Probability chain rule:

• Bayes rules:

• common distribution:

 

高斯分布

蒙特卡洛估计

最大似然估计 

 

 

Standard learning scenarios:

　include unsupervised learning; supervised learning; semi-supervised learning; reinforcement learning

• supervised learning

Learning problem

Learning as iterative optimization

Supervised learning pipeline

 

　　　　　　　train dataset训练parameter   validation data 训练 hyper parameter

 

 　　　　Generalization

　　　　　　　Model selection for better generalization

　　　　　　　　

 

　　　　Questions

　　　　生物神经元和计算神经元的比较

　　　　Capacity of single neuron

　　　　What a single neuron does?

　　　　　　激活函数是怎么起作用的？

 

 

 

经验损失：

因为是通过已有数据得到的损失和风险。

理论上对于已有数据，已经在统计学上进行了反复的计算理解，这些计算出的风险和损失是通过先前对数据理解的经验获得的，因此叫经验损失。

 

随机梯度下降：

机器学习-损失函数（0-1损失函数、绝对损失函数、平方损失函数、对数损失函数）

点到直线的距离公式

 

 协方差矩阵

Analyzing the Hessian

随机梯度下降(SGD)与经典的梯度下降法的区别

Single-Layer Neural Networks and Gradient Descent

argmax和argmin

　　　　arg min 就是使后面这个式子达到最小值时的变量的取值

　　　　arg max 就是使后面这个式子达到最大值时的变量的取值

softmax

负对数似然(negative log-likelihood)

机器学习-正则化

铰链损失函数（Hinge Loss）的理解  LINK1    LINK2

林轩田《机器学习基石》：https://github.com/RedstoneWill/HsuanTienLin_MachineLearning/tree/master/Machine%20Learning%20Foundations/pdf%20files

感知器算法（Perceptron Algorithm）  证明

不失一般性的（WLOG）

 

 

lecture notes 02:

 

标签：12,函数,损失,supervised,2022,learning,week1,lecture,network
来源： https://www.cnblogs.com/duzetao/p/16686577.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。