标签：partial gradient 梯度 下降 tape 简介 tf y2 GradientTape

目录

• Outline
• What's Gradient
• What does it mean？
• How to search
• For instance
• AutoGrad
  • $2^{nd}$-order

Outline

• What's Gradient

• What does it mean

• How to Search

• AutoGrad

What's Gradient

• 导数，derivative，抽象表达

• 偏微分，partial derivative，沿着某个具体的轴运动

• 梯度，gradient，向量

\[\nabla{f} = (\frac{\partial{f}}{\partial{x_1}};\frac{\partial{f}}{{\partial{x_2}}};\cdots;\frac{\partial{f}}{{\partial{x_n}}}) \]

What does it mean？

• 箭头的方向表示梯度的方向
• 箭头模的大小表示梯度增大的速率

How to search

• 沿着梯度下降的反方向搜索

For instance

\[\theta_{t+1}=\theta_t-\alpha_t\nabla{f(\theta_t)} \]

AutoGrad

• With Tf.GradientTape() as tape:

  • Build computation graph
  • \(loss = f_\theta{(x)}\)

• [w_grad] = tape.gradient(loss,[w])

import tensorflow as tf

w = tf.constant(1.)
x = tf.constant(2.)
y = x * w

with tf.GradientTape() as tape:
    tape.watch([w])
    y2 = x * w

grad1 = tape.gradient(y, [w])
grad1

[None]

with tf.GradientTape() as tape:
    tape.watch([w])
    y2 = x * w

grad2 = tape.gradient(y2, [w])
grad2

[<tf.Tensor: id=30, shape=(), dtype=float32, numpy=2.0>]

try:
    grad2 = tape.gradient(y2, [w])
except Exception as e:
    print(e)

GradientTape.gradient can only be called once on non-persistent tapes.

• 永久保存grad

with tf.GradientTape(persistent=True) as tape:
    tape.watch([w])
    y2 = x * w

grad2 = tape.gradient(y2, [w])
grad2

[<tf.Tensor: id=35, shape=(), dtype=float32, numpy=2.0>]

grad2 = tape.gradient(y2, [w])
grad2

[<tf.Tensor: id=39, shape=(), dtype=float32, numpy=2.0>]

\(2^{nd}\)-order

• y = xw + b

• \(\frac{\partial{y}}{\partial{w}} = x\)

• \(\frac{\partial^2{y}}{\partial{w^2}} = \frac{\partial{y'}}{\partial{w}} = \frac{\partial{X}}{\partial{w}} = None\)

with tf.GradientTape() as t1:
    with tf.GradientTape() as t2:
        y = x * w + b
    dy_dw, dy_db = t2.gradient(y, [w, b])

d2y_dw2 = t1.gradient(dy_dw, w)

标签：partial,gradient,梯度,下降,tape,简介,tf,y2,GradientTape
来源： https://blog.51cto.com/u_13804357/2709139

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。