ICode9

精准搜索请尝试: 精确搜索
  • MoCo v3: An Empirical Study of Training Self-Supervised Vision Transformers2021-11-24 10:00:08

    论文 | 代码 论文主要工作 开辟ViT的自监督领域 探究ViT的instability的原因和解决方案 Self-supervised Transformer for vision Masks and reconstructs patches Contrastive/Siamese methods MoCo v3 改动1:去掉了 memory queue 原因:batch size 足够大 (>4096) 时带来的增益

  • Optimizing Deeper Transformers on Small Datasets翻译2021-11-23 13:59:06

    摘要 从头开始训练深层 transformers需要大型数据集是一个普遍观点。因此,对于小型数据集,人们通常在微调期间,在预训练模型上使用较浅和简单的额外层。本项工作表明,这种情况并不是常见的:只需通过正确的初始化和优化,非常深的transformers的优势就可以转移到具有小型数据集的小型

  • NLP on Transformers 101(基于Transformer的NLP智能对话机器人实战课程)One Architecture, One Course,One Universe2021-11-14 22:01:40

    本课程以Transformer架构为基石、萃取NLP中最具有使用价值的内容、围绕手动实现工业级智能业务对话机器人所需要的全生命周期知识点展开,学习完成后不仅能够从算法、源码、实战等方面融汇贯通NLP领域NLU、NLI、NLG等所有核心环节,同时会具备独自开发业界领先智能业务对话机器人的

  • 自然语言处理NLP星空智能对话机器人系列:NLP on Transformers 101第二章2021-11-09 12:31:28

    自然语言处理NLP星空智能对话机器人系列:NLP on Transformers 101 第二章 NLP on Transformers 101 (基于Transformer的NLP智能对话机器人实战课程) One Architecture, One Course,One Universe 本课程以Transformer架构为基石、萃取NLP中最具有使用价值的内容、围绕手动实现工

  • [Transformer]Segtran:Medical Image Segmentation Using Squeeze-and-Expansion Transformers2021-11-07 20:00:08

    SegTran:基于Squeeze-Expansion的Transformer用于医学图像分割 AbstractSection I IntroductionSection II Related WorkSection III Squeeze-and-Expansion TransformerPart 1 Squeezed Attention Block
IPart 2 Expanded Attention Block Section IV Segtran Architectur

  • Vision Transformers for Dense Prediction 论文阅读2021-10-31 20:59:51

    研一小菜鸡一枚,刚刚入门CV领域,最近对大火的Transformer 比较感兴趣,把刚刚阅读过的一篇论文和大家分享一下,第一次写文章,如有错误,还请指正。 先放一下论文链接:https://arxiv.org/pdf/2103.13413v1.pdf Background 在阅读论文之前我们要先知道Dense prediction的定义 Dense Pred

  • BERT源码详解(一)——HuggingFace Transformers源码解2021-10-31 12:04:21

      众所周知,BERT模型自2018年问世起就各种屠榜,开启了NLP领域预训练+微调的范式。到现在,BERT的相关衍生模型层出不穷(XL-Net、RoBERTa、ALBERT、ELECTRA、ERNIE等),要理解它们可以先从BERT这个始祖入手。 HuggingFace是一家总部位于纽约的聊天机器人初创服务商,很早就捕捉到BERT大潮

  • no module named XXX2021-10-22 13:34:07

    eg:no module named transformers 明明安装了报错说没有安装 第一:检查安装的虚拟环境对不对 第二:用which pip看看用的pip对不对,到anaconda3/envs/自己的环境名下/bin这个目录下,看看有没有pip文件。或者改个特殊的名字,免得用错。比如pip_lyjpig。 参考:https://github.com/huggi

  • CVPR2021配准算法LoFTR的配置(LoFTR: Detector-Free Local Feature Matching with Transformers)2021-10-04 23:01:50

     1、论文下载地址: https://arxiv.org/pdf/2104.00680.pdf 2、代码下载地址: https://github.com/zju3dv/LoFTR 3、新建虚拟python环境并激活 conda create -n LoFTR python=3.7 source activate LoFTR 4、安装需要的库 pip install torch==1.6.0 einops yacs kornia opencv-pyt

  • 公众号内容拓展学习笔记(2021.9.30)2021-09-30 20:33:20

    公众号内容拓展学习笔记(2021.9.30)

  • ValueError: tensorflow.__spec__ is None2021-09-25 22:31:04

    ValueError: tensorflow.spec is None from transformers import BertForTokenClassification, BertTokenizer import torch python 导入transformers包,运行报错“ValueError: tensorflow.spec is None”,截图如下: 网上各种百度,但是也只看到一种解决办法,说是将transformers

  • AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE2021-08-30 20:34:19

    https://arxiv.org/pdf/2010.11929.pdf --------------------------------------------------------- 2021-08-30                          transformer缺少cnn的平移不变性,局部性:大规模数据集预训练可解决 class PatchEmbeddin(nn.Module): def __init__(self

  • ICCV2021 | 重新思考视觉transformers的空间维度2021-08-07 17:04:06

    ​ 论文:Rethinking Spatial Dimensions of Vision Transformers 代码:https://github.com/naver-ai/pit 获取:在CV技术指南后台回复“0006” 点个关注,专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读。 前言: 由于基于transformers的架构在计算机视觉建模方面具有创新性,因此

  • 【论文笔记2】Long-Short Transformer: Efficient Transformers for Language and Vision2021-07-29 22:03:06

    论文原文:https://arxiv.org/abs/2107.02192 论文笔记:百度网盘提取码:nzsi 1. Summary Contributions: (1)提出了一种长短时Transformer模型:Long-Short Transformer (Transformer-LS): Short:利用滑动窗口获取短序列(局部)attentionLong:基于动态投影获取长序列(全局)attention (2)在Lon

  • NLP(三十一):用transformers库的BertForSequenceClassification实现文本分类2021-07-28 14:03:54

    一、类别编码必须是0开始 import argparse import torch import tqdm from root_path import root import os import pandas as pd import json from sklearn.model_selection import train_test_split from transformers import BertTokenizer from torch.utils.data import Dat

  • End-to-End Object Detection with Transformers2021-07-22 22:02:07

    摘要 我们提出了一种将目标检测视为直接集合预测问题的新方法。我们的方法简化了检测流程,有效地消除了对许多手工设计组件的需求,如非最大抑制程序或锚生成,它们明确编码了我们关于任务的先验知识。新框架的主要组成部分被称为“检测transformer”(DEtection TRansformer)或“DETR

  • DETR:End-to-End Object Detection with Transformers2021-07-13 15:04:11

    论文标题:End-to-End Object Detection with Transformers 论文官方地址:https://ai.facebook.com/research/publications/end-to-end-object-detection-with-transformers 论文中提到的方法主旨结构如下所示,整个论文也是围绕这个这个结构就行展开的。

  • Focal Self-attention for Local-Global Interactions in Vision Transformers论文阅读2021-07-10 13:59:01

    Focal Self-attention for Local-Global Interactions in Vision Transformers论文阅读 介绍方法Focal self-attentionWindow-wise attentionSub-window pooling.Attention computation.Complexity analysisModel configuration 实验图像分类目标检测和实例分割语义分割与

  • Transformers for Graph Representation2021-06-20 21:32:40

    Do Transformers Really Perform Badfor Graph Representation? microsoft/Graphormer: This is the official implementation for "Do Transformers Really Perform Bad for Graph Representation?". (github.com) 1 Introduction 作者们发现关键问题在于如何补回Transformer模型

  • CVPR2021 之基于with Transformers目标检测无监督预训练 | 环境搭建 | 基础测试2021-06-04 15:02:10

    UP-DETR: Unsupervised Pre-training for Object Detection with Transformers https://arxiv.org/pdf/2011.09094.pdf https://github.com/dddzg/up-detr 环境搭建 Linux下cuda10.0安装Pytorch和Torchvision|简记 cat /etc/issue Ubuntu 18.04.5 LTS \n \l conda creat

  • Self-Supervised Learning with Swin Transformers2021-05-11 21:32:30

    Self-Supervised Learning with Swin Transformers 2021-05-11 20:32:02 Paper: https://arxiv.org/pdf/2105.04553.pdf  Code: https://github.com/SwinTransformer/Transformer-SSL    1. Background and Motivation:  作者提到最近 cv 领域的两个技术潮流,一个是以 MoCo

  • NLP文档挖宝(2)——通过Huggingface Transformers 分享与上传自己的预训练模型2021-05-08 21:32:25

    最近团队完成了一个面向古文语料的预训练模型(SikuBERT),基于四库全书进行的训练,效果害挺好,于是准备拥抱开源,上传至最大的预训练模型hub——huggingface。 在整个上传过程中,看了一些很早之前翻译成中文的上传手册,他们大多使用内置工具+upload方法进行上传,但是笔者按照步骤尝试之后

  • 解决AttributeError: module ‘tensorflow_core.activations‘ has no attribute ‘swish‘2021-05-08 15:01:49

    今天使用transformers遇到这个错误,查了很多都是说pytorch、tensorflow以及keras版本不对应问题。更改torch版本和transformers版本均不行,按照别人经验将tensorflow升级为最新2.3.1版也不行。 看报错发现是下面这句 点进去,将该激活方法注释掉即可。(前提是我没有使用到) 解决

  • 文献阅读(十):AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE2021-04-18 21:57:11

    文献阅读(十):AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE ABSTRACT1 INTRODUCTION2 RELATED WORK3 METHOD3.1 VISION TRANSFORMER (VIT)3.2 FINE-TUNING AND HIGHER RESOLUTION 4 EXPERIMENTS4.1 SETUP4.2 COMPARISON TO STATE OF THE ART4

专注分享技术,共同学习,共同进步。侵权联系[admin#icode9.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有