Transformer课程第37章Transformer模型MobileBERT架构

2021-11-27 10:06:37 阅读：179 来源： 互联网

标签：NLP Transformer 星空智能机器人 37 MobileBERT 对话

第37章：可运行在终端设备的Transformer模型MobileBERT架构内幕及完整源码实现
1，Compact BERT on resource-limited设备上
2，teacher model数学原理解析
3，MobileBertTokenizer源码完整实现分析
4，load_tf_weights_in_mobilebert源码完整实现分析
5，NoNorm源码完整实现分析
6，MobileBertEmbeddings源码完整实现分析
7，MobileBertAttention源码完整实现分析
8，MobileBertSelfAttention源码完整实现分析
9，MobileBertSelfOutput源码完整实现分析
10，MobileBertIntermediate源码完整实现分析
11，OutputBottleneck源码完整实现分析
12，MobileBertOutput源码完整实现分析
13，BottleneckLayer源码完整实现分析
14，Bottleneck源码完整实现分析
15，FFNOutput源码完整实现分析
16，FFNLayer源码完整实现分析
17，MobileBertLayer源码完整实现分析
18，MobileBertEncoder源码完整实现分析
19，MobileBertPooler源码完整实现分析
20，MobileBertPredictionHeadTransform源码完整实现分析
21，MobileBertLMPredictionHead源码完整实现分析
22，MobileBertOnlyMLMHead源码完整实现分析
23，MobileBertPreTrainingHeads源码完整实现分析
24，MobileBertPreTrainedModel源码完整实现分析
25，MobileBertForPreTrainingOutput源码完整实现分析
26，MobileBertModel源码完整实现分析
27，MobileBertForPreTraining源码完整实现分析
28，MobileBertForMaskedLM源码完整实现分析
29，MobileBertOnlyNSPHead源码完整实现分析
30，MobileBertForNextSentencePrediction源码完整实现分析
31，MobileBertForSequenceClassification源码完整实现分析
32，MobileBertForQuestionAnswering源码完整实现分析
33，MobileBertForMultipleChoice源码完整实现分析
34，MobileBertForTokenClassification源码完整实现分析

星空智能对话机器人的Gavin认为Transformer是拥抱数据不确定性的艺术。

Transformer的架构、训练及推理等都是在Bayesian神经网络不确定性数学思维下来完成的。Encoder-Decoder架构、Multi-head注意力机制、Dropout和残差网络等都是Bayesian神经网络的具体实现；基于Transformer各种模型变种及实践也都是基于Bayesian思想指导下来应对数据的不确定性；混合使用各种类型的Embeddings来提供更好Prior信息其实是应用Bayesian思想来集成处理信息表达的不确定性、各种现代NLP比赛中高分的作品也大多是通过集成RoBERTa、GPT、ELECTRA、XLNET等Transformer模型等来尽力从最大程度来对抗模型信息表示和推理的不确定性。

从数学原理的角度来说，传统Machine Learning及Deep learning算法训练的目标函数一般是基于Naive Bayes数学原理下的最大似然估计MLE和最大后验概率MAP来实现，其核心是寻找出最佳的模型参数；而Bayesian的核心是通过计算后验概率Posterior的predictive distribution，其通过提供模型的不确定来更好的表达信息及应对不确定性。对于Bayesian架构而言，多视角的先验概率Prior知识是基础，在只有小数据甚至没有数据的时候是主要依赖模型Prior概率分布(例如经典的高斯分布)来进行模型推理，随着数据的增加，多个模型会不断更新每个模型的参数来更加趋近真实数据的模型概率分布；与此同时，由于（理论上）集成所有的模型参数来进行Inference，所以Bayesian神经网络能够基于概率对结果的提供基于置信度Confidence的分布区间，从而在各种推理任务中更好的掌握数据的不确定性。

在这里插入图片描述

当然，由于Bayesian模型因为昂贵的CPU、Memory及Network的使用，在实际工程实践中计算Bayesian神经网络中所有概率模型分布P(B)是棘手的甚至是Intractable的几乎不能实现事情，所以在工程落地的时候会采用Sampling技术例如MCMC的Collapsed Gibbs Sampling、Metropolis Hastings、Rejection Sampling及Variational Inference的Mean Field及Stochastic等方法来降低训练和推理的成本。Transformer落地Bayesian思想的时候权衡多种因素而实现最大程度的近似估计Approximation，例如起使用了计算上相对CNN、RNN等具有更高CPU和内存使用性价比的Multi-head self-attention机制来完成更多视角信息集成的表达，在Decoder端训练时候一般也会使用多维度的Prior信息完成更快的训练速度及更高质量的模型训练，在正常的工程落地中Transformer一般也会集成不同来源的Embeddings，例如星空智能对话机器人的Transformer实现中就把One-hot encoding、Word2vec、fastText、GRU、BERT等encoding集成来更多层级和更多视角的表达信息。

拥抱数据不确定性的Transformer基于Bayesian下共轭先验分布conjugate prior distribution等特性形成了能够整合各种Prior知识及多元化进行信息表达、及廉价训练和推理的理想架构。理论上讲Transformer能够更好的处理一切以 “set of units” 存在的数据，而计算机视觉、语音、自然语言处理等属于这种类型的数据，所以理论上讲Transformer会在接下来数十年对这些领域形成主导性的统治力。

基于此，我们开发了全新一代围绕Transformer的自然语言处理课程：
NLP on Transformers 101

(基于Transformer的NLP智能对话机器人实战课程)

本课程以Transformer架构为基石、萃取NLP中最具有使用价值的内容、围绕手动实现工业级智能业务对话机器人所需要的全生命周期知识点展开，学习完成后不仅能够从算法、源码、实战等方面融汇贯通NLP领域NLU、NLI、NLG等所有核心环节，同时会具备独自开发业界领先智能业务对话机器人的知识体系、工具方法、及参考源码，成为具备NLP硬实力的业界Top 1%人才。

课程特色：
 101章围绕Transformer而诞生的NLP实用课程
 5137个围绕Transformers的NLP细分知识点
 大小近1200个代码案例落地所有课程内容
 10000+行纯手工实现工业级智能业务对话机器人
 在具体架构场景和项目案例中习得AI相关数学知识
 以贝叶斯深度学习下Attention机制为基石架构整个课程
 五大NLP大赛全生命周期讲解并包含比赛的完整代码实现

在这里插入图片描述

参考文献

https://tensorflow.google.cn/tutorials/text/transformer

星空智能对话机器人系列博客

标签：NLP,Transformer,星空,智能,机器人,37,MobileBERT,对话
来源： https://blog.csdn.net/duan_zhihua/article/details/121572925

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

Transformer课程 第37章Transformer模型MobileBERT架构

星空智能对话机器人的Gavin认为Transformer是拥抱数据不确定性的艺术。

参考文献

星空智能对话机器人系列博客

Transformer课程第37章Transformer模型MobileBERT架构