标签：mathbf 示例 标记 Li 分类器 置信度 Learning Co Democratic

提出了民主协同学习(Democratic Co-Learning), 一种新的单视图半监督技术, 可用于没有两个独立和冗余特征集的应用, 并且适用于少量标记数据. 在民主协同学习中, 使用一组不同的学习算法在标记数据集上分别训练一组分类器. 使用加权投票组合输出概念, 以预测未标记示例的标签. 新标记的示例被添加到与大多数预测不同的分类器的训练集中. 重复该过程, 直到无法将更多数据添加到分类器的训练集中. 同时还提出了民主优先抽样, 以选择请求标签以进行主动学习的示例. 最后, 获得了主动民主协同学习, 它使用民主优先抽样来选择要主动标记的示例, 并使用民主协同学习来标记其他示例.

下表根据是否使用单视图或多视图方法以及是否使用主动学习来对半监督技术进行分类. 粗体显示的即为本文的成果.

1. Democratic Co-Learning

文中符号表定义如下:

Democratic Co-Learning 算法流程如下:

• 1.在每个 L i \mathbf{L_i} Li​ 上利用 A i A_i Ai​ 训练分类器 H i H_i Hi​.
• 2.使用 H i H_i Hi​ 为 U \mathbf{U} U 上的每个示例 x x x 预测一个标签值 c j c_j cj​, 令 c k c_k ck​ 为 majority prediction.
• 3.计算 H i H_i Hi​ 在 L \mathbf{L} L 上的 95% 置信区间 [ l i , h i ] [l_i,h_i] [li​,hi​] 和平均置信度 ( l i + h i ) / 2 (l_i+h_i)/2 (li​+hi​)/2.
• 4.初始化 n n n 个 L ′ \mathbf{L}' L′, 如果多数群体中学习者的平均置信值之和大于少数群体中学习器的平均置信值之和, 则将 ( x , c k ) (x,c_k) (x,ck​) 加入到 L i ′ \mathbf{L_i}' Li​′ 中.
• 5.评估将 L i ′ \mathbf{L_i}' Li​′ 添加到 L i \mathbf{L_i} Li​ 中是否提升准确率. 计算 H i H_i Hi​ 在 L i \mathbf{L}_i Li​ 上的 95% 置信区间 [ l i , h i ] [l_i,h_i] [li​,hi​], 然后分别计算在 L i \mathbf{L}_i Li​, L i ′ \mathbf{L}'_i Li′​ 和 L i ∪ L i ′ \mathbf{L}_i \cup \mathbf{L}'_i Li​∪Li′​ 上的错误率 q i q_i qi​, e i ′ e'_i ei′​ 和 q i ′ q'_i qi′​.
• 6.如果 q i ′ > q i q'_i>q_i qi′​>qi​ 则将 L i ′ \mathbf{L_i}' Li​′ 添加到 L i \mathbf{L_i} Li​ 中
• 7.重复操作1-6直到 L 1 , ⋯ L n \mathbf{L}_1,\dotsm\mathbf{L}_n L1​,⋯Ln​ 不在变化时为止. 最终返回一个组合的分类器 C o m b i n e ( H i , … , H n ) Combine(H_i,\dots,H_n) Combine(Hi​,…,Hn​). 组合算法如1.2所示.

1.1 Labeling Criteria

除非大多数学习器同意标签, 否则一个学习器不会为另一个学习器标记未标记的示例. 除此多数票要求外, 我们还要求多数群体中学习者的平均置信值之和大于少数群体中学习器的平均置信值之和, 其中学习器的平均置信度为 ( l + h ) / 2 (\mathcal{l}+\mathcal{h})/2 (l+h)/2, l \mathcal{l} l 和 h \mathcal{h} h 由 95% 置信区间 [ l , h ] [l,h] [l,h] 定义. 使用以置信度为权重的投票, 可以消除大多数学习器以非常低的置信度做出相同错误预测的可能性.

为了平衡向训练数据添加更多标记示例的好处与标签中可能出现的噪声率增加, 使用一些测试来估计标记数据的增加是否足以补偿错误标记示例数量的增加. 具体细节在上面算法流程中已经展示.

1.2 Combining

除了每个标签的票数外, 我们还考虑了每个单独分类器的置信度值(以 95% 置信区间的平均值衡量). 我们将分类器分为 r r r 组, 每组大小为 n n n, 并对应一个可能的标签. 我们使用 m − e s t i m a t o r m-estimator m−estimator 来调整每个组的平均置信度值的平均值, 以便如果一个组的平均平均置信度值(average mean confidence value)较小时, the average mean confidence value of a group is discounted more.

我们使用 s = n + 0.5 n + 1 s=\frac{n+0.5}{n+1} s=n+1n+0.5​ 的 Laplace 校正来避免投票频率为零, 并且当小组规模太小时, 偏向0.5的投票权. 具有最高discounted confidence value的分类器组用于预测示例. 当组内分类器的置信度值方差较大时, 上述调整可能无效. 因此, 我们忽略任何置信度值小于 50% 的分类器. 如下图所示:

• 1.计算 H i H_i Hi​ 在 L \mathbf{L} L 上的 95% 置信区间 [ l i , h i ] [l_i,h_i] [li​,hi​] 和平均置信度 w i = ( l i + h i ) / 2 w_i=(l_i+h_i)/2 wi​=(li​+hi​)/2.
• 2.对于每个实例空间的示例 x x x, 如果 H i ( x ) H_i(x) Hi​(x) 有预测值 c j c_j cj​ 并且 w i > 0.5 w_i>0.5 wi​>0.5, 则将 H i H_i Hi​ 添加到集合 G j G_j Gj​ 中. 同时计算 G j G_j Gj​ 的平均置信均值 C ‾ G j \overline{C}_{G_j} CGj​​.
• 3.选择最大 C ‾ G j \overline{C}_{G_j} CGj​​ 对应的组 G G G, 即最终得到组合 H H H.

2. Democratic Priority Sampling

在 Democratic Co-Learning 中, 我们首先使用标记数据 L \mathbf{L} L 训练 k k k 个不同的学习器以获得 k k k 个分类器 H 1 , … , H k H_1,\dots, H_k H1​,…,Hk​. 然后, 一种选择要主动标记的示例的可能方法是使用 QBC 中的投票熵. 但是, 我们还希望将每个单独分类器的置信度纳入优先级估计中. 因此, 我们定义了一个置信加权投票熵, 通过计算由分类器的平均置信度加权的投票熵, 将每个单独分类器的置信度纳入优先级估计中.

令 r r r 为不同的标签的个数, G i ( x ) G_i(x) Gi​(x) 为分类器 H 1 , … , H k H_1,\dots, H_k H1​,…,Hk​ 的集合. 定义未标记示例 x x x 的优先级为:
P r i o r i t y ( x ) = − ∑ i = 1 r W i ( x ) W log ⁡ W i ( x ) W Priority(x)=-\sum_{i=1}^r\frac{W_i(x)}{W}\log\frac{W_i(x)}{W} Priority(x)=−i=1∑r​WWi​(x)​logWWi​(x)​
其中:

• W i ( x ) = ∑ H j ∈ G i ( x ) w j W_i(x)=\sum_{H_j \in G_i(x)}w_j Wi​(x)=∑Hj​∈Gi​(x)​wj​.
• w j w_j wj​ 为 H j H_j Hj​ 的 95% 置信区间的平均值.
• W = ∑ j = 1 k w j W=\sum_{j=1}^k w_j W=∑j=1k​wj​

将具有最高优先级标签的示例提供给专家进行标记. 然后使用更大的标记数据池重新计算假设, 并重复该过程.

标签：mathbf,示例,标记,Li,分类器,置信度,Learning,Co,Democratic
来源： https://blog.csdn.net/by6671715/article/details/122623044

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。