标签：frac bigtriangledown Pytorch delta theta aligned grad xw

Gradient

Clarificaton
导数,derivate
偏微分,partial derivate
梯度,gradient

\[\begin{aligned} &\bigtriangledown{f} = (\frac{\delta{f}}{\delta{x_1}};\frac{\delta{f}}{\delta{x_2}};...;\frac{\delta{f}}{\delta{x_n}})\\ &z = y^2-x^2\\ &\frac{\delta{z}}{\delta{x}}=-2x\\ &\frac{\delta{z}}{\delta{y}}=2y\\ &\bigtriangledown{f} = (-2x,2y)\\ \end{aligned} \]

How to search for minima?

\[\begin{aligned} &\theta_{t+1} = \theta_{t} - \alpha_{t}\bigtriangledown{f(\theta_{t})}\\ &Function:\\ &J(\theta_1,\theta_2) = {\theta_1}^2 + {\theta_2}^2\\ &Objective:\\ &\substack{\min\\{\theta_1,\theta_2}} J(\theta_1,\theta_2)\\ &Update rules:\\ &\theta_1:=\theta_1 - \alpha \frac{d}{d\theta_1}J(\theta_1,\theta_2)\\ &\theta_2:=\theta_2 - \alpha \frac{d}{d\theta_2}J(\theta_1,\theta_2)\\ &Derivatives:\\ &\frac{d}{d\theta_1}J(\theta_1,\theta_2)=\frac{d}{d\theta_1}{\theta_1}^2 + \frac{d}{d\theta_1}{\theta_2}^2=2\theta_1\\ &\frac{d}{d\theta_2}J(\theta_1,\theta_2)=\frac{d}{d\theta_2}{\theta_1}^2 + \frac{d}{d\theta_2}{\theta_2}^2=2\theta_2\\ \end{aligned} \]

Common Functions

Common Functions	Function	Derivative
Constant	$$C$$	$$0$$
Line	$$x$$	$$1$$
	$$ax$$	$$a$$
Square	$$x^2$$	$$2x$$
Square root	$$\sqrt{x}$$	$$\frac{1}{2}x^{-\frac{1}{2}}$$
Exponential	$$e^x$$	$$e^x$$
	$$a^x$$	$$\ln(a)a^x$$
Logarithms	$$\ln(x)$$	$$\frac{1}{x}$$
	$$\log_a(x)$$	$$\frac{1}{x\ln(a)}$$
Trigonometry	$$\sin(x)$$	$$\cos(x)$$
	$$\cos(x)$$	$$-\sin(x)$$
	$$\tan(x)$$	$${\sec(x)}^2$$
eg.

\[\begin{aligned} &f=[y-(xw+b)]^2\\ &g=xw+b\\ &\frac{\delta f}{\delta w}=2(y-g)\frac{\delta g}{\delta w}=2(y-(xw+b))*(-x)\\ &\frac{\delta f}{\delta b}=2(y-g)\frac{\delta g}{\delta b}=2(y-(xw+b))*(-1)\\ &\bigtriangledown=(2(y-(xw+b))*(-x),2(y-(xw+b))*(-1))\\ \end{aligned} \]

标签：frac,bigtriangledown,Pytorch,delta,theta,aligned,grad,xw
来源： https://www.cnblogs.com/Carrawayang/p/15801189.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。