标签：LDS default 标签 回归 深入研究 分布 密度 blog 平衡

深入研究不平衡回归问题

1. 针对深度不平衡回归这一问题，提出了两种方法：
   1. 标签分布平滑
   2. 特征分布平滑
2. 传统的解决方案
   1. 基于数据的解决方案
      1. 对少数样本过采样、对多数样本欠采样
   2. 基于模型的解决方案
      1. 对损失函数的重加权
      2. 一些学习技巧： transfer learning，meta-learning， two-stage training

3. 难点与挑战

   1. 给定连续的，并且可能无穷多的目标值，类与类之间的hard boundaries不再存在。那么当直接应用传统的不平衡分类方法，例如重采样或重加权，因其是对于特定的离散的类别进行操作，这就导致了这些方法不直接适用于连续域的情况。

   2. 连续标签本质上在不同目标值之间的距离是具有意义，不同的不平衡分布意义不一样。

   3. 某些目标值可能就根本没有数据。而这也激发了对目标值做 extrapolation 以及 interpolation 的需求。

4. 标签分布平滑

   测试误差的分布与标签密度的分布非常相关

   

   ​ 有趣的是，即使标签密度分布与CIFAR-100相同，具有连续的标签空间的 IMDB-WIKI的测试误差分布也与CIFAR-100非常不同。尤其是，IMDB-WIKI的误差分布更加平滑，并且不再与标签密度分布很好地相关，这里的 Pearson correlation 只有 −0.47。

   ​ 这种现象表明，对于连续标签，其经验标签密度（empirical label density），也就是直接观测到的标签密度，不能准确反映模型或神经网络所看到的不平衡。因此，在连续的情况下，empirical label density是不能反映实际的标签密度分布。这是由于相临近标签（例如，年龄接近的图像）的数据样本之间是具有相关性，或是互相依赖。

   ​ 标签分布平滑：基于这个观察，提出 Label Distribution Smoothing (LDS) ，来估计在连续标签情况下的有效label density distribution。方法参考了在统计学习领域中的核密度估计，kernel density estimation的思路，来在这种情况下估计expected density。具体而言，给定连续的经验标签密度分布，LDS 使用了一个 symmetric kernel distribution 对称核函数，用经验密度分布与之进行卷积，来拿到一个 kernel-smoothed的版本，我们称之为 effective label density，也就是有效的标签密度，用来直观体现临近标签的数据样本具有的信息重叠的问题。那么我们也可以进一步验证，由LDS计算出的有效标签密度分布结果现已与误差分布良好相关，皮尔森相关系数为 −0.83。这表明了利用 LDS，我们能获得实际影响回归问题的不平衡的标签分布。

   那么有了用LDS估计出的有效标签密度，之前用来解决类别不平衡问题的方法，便可以直接应用于DIR。比如说，一种直接的可以adapted 的方法是利用重加权方法，具体来说就是，我们通过将损失函数乘以每个目标值的LDS估计标签密度的倒数来对其进行加权。之后在实验部分我们也会展示，利用LDS可以一致提升很多方法。

   1. 参考思想：核密度估计

   https://blog.csdn.net/sgyuanshi/article/details/98312030?utm_medium=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~default-3.no_search_link&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~default-3.no_search_link

   https://blog.csdn.net/unixtch/article/details/78556499

   https://blog.csdn.net/Chaolei3/article/details/79240771?utm_medium=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~default-13.no_search_link&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~default-13.no_search_link

   ​ 思路：用对称核函数卷积标签，用于体现有效标签密度分布结果与误差分布的相关性。（核心是用对称核函数卷积连续分布的经验标签）可以将损失函数乘以每个目标值的LDS估计标签密度的倒数来对其进行加权。

5. 特征分布平滑

   

   ​ FDS对特征空间进行分布的平滑，本质上是在临近的区间之间传递特征的统计信息。此过程主要作用是去校准特征分布的潜在偏差估计，尤其是对那些样本很少的目标值而言。

   方法：

   1. whitening and re-coloring 白化变换（FDS.py）
   2. 网络末尾增加校准层来集成FDS (resnet.py)
   3. 在每个epoch 采用了对于 running statistics的 momentum update，也就是动量更新(FDS.py)

标签：LDS,default,标签,回归,深入研究,分布,密度,blog,平衡
来源： https://www.cnblogs.com/ljwgis/p/15471550.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。