标签：log sum torch Cross cat Pytorch Entropy tensor
Entropy
Uncetainly
measure of surprise
higher entropy = less info
Lottery
import torch
a = torch.full([4], 1/4.)
a * torch.log2(a)
tensor([-0.5000, -0.5000, -0.5000, -0.5000])
-(a * torch.log2(a)).sum()
tensor(2.)
a = torch.tensor([0.1, 0.1, 0.1, 0.7])
-(a * torch.log2(a)).sum()
tensor(1.3568)
a = torch.tensor([0.001, 0.001, 0.001, 0.999])
-(a * torch.log2(a)).sum()
tensor(0.0313)
Croos Entropy
\[\begin{aligned} &H(p,q)=-\sum p(x)\log q(x)\\ &H(p,q)=H(p)+D_{KL}(p|q)\\ \end{aligned} \]P=Q
cross Entropy = Entropy
for one-hot encoding
entropy = log1 =0
Binary Classification
\[\begin{aligned} &H(P,Q)=-P(cat)\log Q(cat)-(1-P(cat))\log(1-Q(cat))\\ &P(dog)=(1-P(cat))\\ &H(P,Q)=-\sum_{i=(cat,dog)}P(i)\log(Q(i))\\ &=-P(cat)\log Q(cat)-P(dog)\log Q(dog)-(y\log(p)+(1-y)\log (1-p))\\ \end{aligned} \]
标签：log,sum,torch,Cross,cat,Pytorch,Entropy,tensor 来源： https://www.cnblogs.com/Carrawayang/p/15848661.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。