标签：PRE 本文 TRAINING 嵌入 训练 NEURAL Attribute 下游 节点
本文作者来自斯坦福、爱荷华以及哈佛。
图的预训练与Bert类似，通过对单个节点和整个图级别预先训练一个GNN模型，以便GNN可以同时学习有用的局部和全局表示，然后可以针对下游任务进行微调。但是在整个图或单个节点级别预训练gnn的策略，提供的改进有限，甚至可能导致许多下游任务的负迁移。本文提出的节点以及图一起预训练的方式，避免了负迁移，并显著改善了下游任务的泛化结果：
（a.i）当只使用节点级预训练时，不同形状的节点(语义上不同的节点)可以很好地分离，但是节点嵌入不能组合，因此通过池化节点级嵌入所生成的图嵌入(+和-表示)是不可分离的。同理（a.ii）中的以图训练为基础的方式使得模型对节点的区分不足。本文提出了几种不同的训练方式，Context Prediction, Attribute Masking, graph-level supervised pre-training
(Supervised Attribute Prediction) 支持节点级和图级的预训练。
具体来说，本文的贡献如下：
- 建立了两个新的大型预训练数据集，并与社区共享:一个包含200万幅图的化学数据集和一个包含395K幅图的生物学数据集。我们还表明，大型领域特定的数据集对于研究预训练是至关重要的，而现有的下游基准数据集太小，无法以统计可靠的方式评估模型。
标签：PRE,本文,TRAINING,嵌入,训练,NEURAL,Attribute,下游,节点 来源： https://blog.csdn.net/qq_36618444/article/details/113779447
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。