1、对比loss/Contrastive Loss 1、经典对比loss 目的：对于positive pair，输出特征向量间距离要尽量小；对于negative pair，输出特征向量间距离要尽量大，但若 特征向量距离大于一定值，则不处理这种easy negative pair 经典的Contrastive Loss形式来自于LeCun的文章：Dimensionality Reductio
Contrastive loss 最初源于 Yann LeCun “Dimensionality Reduction by Learning an Invariant Mapping” CVPR 2006。 该损失函数主要是用于降维中，即本来相似的样本，在经过降维（特征提取）后，在特征空间中，两个样本仍旧相似；而原本不相似的样本，在经过降维后，在特征空间中，两个样本仍旧
论文信息 论文标题：Graph Communal Contrastive Learning论文作者：Bolian Li, Baoyu Jing, Hanghang Tong论文来源：2022, WWW论文地址：download 论文代码：download 1 Introduction 出发点：GCL 中节点级对比损失会有一定概率将同一社区中的节点视为负对，这是不合理的。 首先提
论文信息 论文标题：Self-supervised Learning on Graphs: Contrastive, Generative,or Predictive论文作者：Lirong Wu, Haitao Lin, Cheng Tan,Zhangyang Gao, and Stan.Z.Li论文来源：2022, ArXiv论文地址：download 3 对比学习 3.1 统一的视角 对比学习的主要目标是最大化正对
文章目录 Contrastive Clustering文章介绍问题背景拟解决问题联合优化的应用 主要贡献相关工作对比学习深度聚类实例级和聚类级的含义 提出的方法模型结构PCB模块ICH模块CCH模块算法流程损失构建 实验数据集介绍实验结果类簇演化过程数据增强的消融实验两种对比方式的消融
《Supervised Contrastive Learning》 该工作将原来自监督学习(self-supervised)的对比学习思想扩展到全监督学习(full-supervised)，相比于上一篇SimCLR，SupCon在数据增强，encoder，投影网络的设计上没什么区别，在正样本与负样本的定义上稍有不同：在一个batch中，对于每一个选择的锚样
本文首发于微信公众号「对白的算法屋」，来一起学AI叭 大家好，卷王们and懂王们好，我是对白。 本次我挑选了ICLR2021中NLP领域下的六篇文章进行解读，包含了文本生成、自然语言理解、预训练语言模型训练和去偏、以及文本匹配和文本检索。从这些论文的思想中借鉴了一些idea用于公司自身的
本篇论文美团已经给出了很详细的解读 论文：https://arxiv.org/abs/2105.11741 代码：https://github.com/yym6472/ConSERT 本文的想法思路也是一样即对比学习，主要创新点就是试了一些数据增强如对抗攻击、打乱词序、裁剪、dropout等等。通过一个数据增强模块，作用于Embedding层，为
paper:https://arxiv.org/pdf/1910.10699.pdf abstract: 问题： knowledge distillation忽视了structural knowledge 实验结果： 新方法产生了优化，有的时候甚至是test中的top 1 method : 目标： 最大化互信息，让不同的输入尽可能映射到不同的值，相同的输入在T和S模式下映射的值尽可
CL文献——从综述到框架 大部分文献都是2020-2021年的新文献，因为CL总体是一个很新的热点，所以后面还会不断有文献补充，这里面大部分是自己学习用，来源Google Schoolar |
方法概述 1，提出了一种用于无监督行人重识别的联合生成对比学习框架，生成和对比模块互相提高对方的性能。 2， 在生成模块中，我们引入了3D网格生成器。 3， 在对比模块，我们提出了一种视角无关的损失，来减少生成样本和原始样本之间的类内变化。 文章目录 方法概述内容概要工作概述
Understanding self-supervised and contrastive learning with "Bootstrap Your Own Latent" (BYOL) Intro 主要探讨一下BYOL的问题，其他略过，文章发现了BYOL的成功似乎还是没有逃过负样本的使用，提出BYOL其实利用BatchNorm隐式的使用到了负样本的假说，并且有实验来作证。 Findings
从对比学习(Contrastive Learning)到对比聚类(Contrastive Clustering) 作者：凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/ 想要了解对比聚类，首先应该清楚对比学习的整个过程。最经典的对比学习的文章是Hinton团队提出的SimCLR，该方法首先将一个实例(图像)变换成
视觉表示学习的多模态对比训练 paper: https://arxiv.org/pdf/2104.12836v1.pdf code: 暂无 摘要 我们开发一种学习视觉表示的方法，该方法包含多模态数据，并结合了模态内部和模态间相似性保存目标。与在单个域中解决代理预测任务的现有视觉预训练方法不同，我们的方法同时利用每
Title：基于最大化互信息对比学习的自监督bert？(Contrastive Multi-View Representation Learning on language) Abstract：在此论文中,我们在 deep infomax,infoNet等互信息最大化的基础上，使用对比学习思路，构建了一个基于孪生Bert的无监督预训练模型,这是一种在文本蕴含和文本复述任务
写在最前面，这个综述阅读的reference在这里，原文肯定是写的比我好的，我写文章其实更多是归纳整理给自己来看，然后等我以后沉淀一沉淀，会来优化自己的语言和逻辑，整理成那种好的文本吧 https://ankeshanand.com/blog/2020/01/26/contrative-self-supervised-learning.html http://www.aty
目录概主要内容一个有趣的应用 > Prabhushankar M., Kwon G., Temel D. and AlRegib G. Contrastive explanation in neural networks. In 2020 IEEE International Conference on Image Process (ICIP), 2020. > Prabhushankar M., AlRegib G. Extracting causal visual features
要说到对比学习（Contrastive Learning），首先要从自监督学习开始讲起。自监督学习属于无监督学习范式的一种，特点是不需要人工标注的类别标签信息，直接利用数据本身作为监督信息，来学习样本数据的特征表达，并用于下游任务。 当前自监督学习可以被大致分为两类：
Noise-contrastive estimation 噪声对比估计 目录 Noise-contrastive estimation 噪声对比估计 这份简短的NCE博文是对自然语言处(四) 词向量编码 word2vec 的一个小补充或额外资料吧. 在统计中, 估计非标准化的模型参数是非常困难的,或都计算复杂度太高,或者因没有积分解析形式.
目录 一、前言 二、对比学习 三、主要论文（附代码分析） 1. AMDIM ([Bachman](https://arxiv.org/pdf/1906.00910.pdf) *et al.* 2019) 2. SIMCLR ([Geoffrey Hinton](https://arxiv.org/pdf/2002.05709.pdf) *et al* 2020) 3.MOCO ([Kaiming He](https://ieeexplore.ieee.org/docu
终终终终于放假了= = 寒假可以看点自己感兴趣的论文了，今年大火的对比学习和一些Transformer相关的论文一直存着没看 列个论文清单，有空的话慢慢看过去 Contrastive Learning 综述 A Survey on Contrastive Self-supervised Learning【20.11】 具体方法 A Simple Framework f
医疗图像分割中有限标注情况下的全局和局部特征的对比学习 论文信息 Paper:Contrastive learning of global and local features for medical image segmentation with limited annotationsLink:[NIPS 2020 oral presentation]https://papers.nips.cc/paper/2020/file/949686
文章首发于：https://zhuanlan.zhihu.com/p/334772391 0 前言 作为刚入门自监督学习的小白，在阅读其中 Contrastive Based 方法的论文时，经常会看到 InfoNCE 这个 loss（在 CPC 的论文中提出），之前只知道它的思想来自于 NCE 以及代表什么含义，但是对其背后的理论推导、以及如何从 NCE
目录 一、前言二、对比学习三、主要论文（附代码分析）1. AMDIM ([Bachman](https://arxiv.org/pdf/1906.00910.pdf) *et al.* 2019)2. SIMCLR ([Geoffrey Hinton](https://arxiv.org/pdf/2002.05709.pdf) *et al* 2020)3.MOCO ([Kaiming He](https://ieeexplore.ieee.org/docu
