本文介绍一些避免transformers的OOM以及训练等流程太漫长的方法，主要参考了kaggle notebook Optimization approaches for Transformers | Kaggle，其中梯度累积Gradient Accumulation，冻结Freezing已经在之前的博客中介绍过，本文会依次介绍混合精度训练Automatic Mixed Precision, 8-b
原创：郑佳伟 在NLP任务中，会有很多为了提升模型效果而提出的优化，为了方便记忆，所以就把这些方法都整理出来，也有助于大家学习。为了理解，文章并没有引入公式推导，只是介绍这些方法是怎么回事，如何使用。 一、对抗训练 近几年，随着深度学习的发展，对抗样本得到了越来越多的关注。通常，我
摘要：计算机视觉在很多任务中都取得了成功，比如人脸识别、图像标签、文字OCR等。随着移动互联网的兴起带来了海量的数据，计算机视觉迅猛发展。算法可以自动从海量数据中学习得到物体的视觉特征，然后进行识别。在这些视觉任务中，真正要把算法落地，碰到的最大的问题就是互联网的图片包含大
https://mp.weixin.qq.com/s/8I61m3UAA-QaWId6OpLGjw 新手炼丹技巧
文章导读 随着人工智能在各行各业的渗透，AI算法越来越受到人们的关注，目前大多数AI算法仍然采用有监督学习的方式进行训练，而数据的质量就成了算法能力的上限，因此对数据打标签就成了一项至关重要的工作内容。本文针对计算机视觉领域的数据标注类型及一些开源工具进行简要介绍。 目
我们在训练模型时，经常需要调整batchsize,初始学习率，以及模型中的超参数，以求达到最好的实验效果。如果采用传统操作，即这个模型跑完之后，手动调整模型参数，然后再开始训练模型，显而易见，这种方法费时又费力。下面就介绍一种使用argparse模块以及shell脚本，进行“炼丹”的方式。 一、arg
