标签：py SOTA PLATO ids token 源码 对话 context response
【部分源码分析】PLATO——开放域对话的SOTA之作Github链接：https://github.com/PaddlePaddle/Knover/tree/master
论文链接：https://arxiv.org/abs/2006.16779
PLATO目录
数据准备
注：此处的数据预处理部分仅针对千言数据集（中文，三大任务场景，六个分数据集）
千言多技能对话数据集及比赛地址：
https://aistudio.baidu.com/aistudio/competition/detail/55
对于PLATO（Knover）模型而言，文本数据的词嵌入处理方式如上图所示
Plato-2模型的输入采用了token，role，turn，position相融合的表示方式。在Knover的源码中，对输入的处理是通过了sentencepiece工具（BERT也使用的这个）。sentencepiece提供了一种方便快捷的分词操作，我们可以直接将整个数据集放进去，设定分词的单元数量，然后等待训练出一个好用的分词模型（会输出一个预训练模型，之后对每个语句都会用这个模型进行编码和解码，即分词，转换成数字编码，输出再转换回句子）
上图给出了Plato模型需要的输入，当然这些是以Embedding的形式给出的，而Embedding是在模型中转化的，它在转化之前是以数字编码存在的。Embedding现在已经是语言处理技术的标配了，它把每一个标记映射到空间中，增加其表征能力。我们暂时忽略最前边的latent，它是表示不同回答方式的隐变量，用于Plato在众多可能回答中选择正确的回答，我们这里不关心这个是怎么实现的，所以不展开讨论。在latent之后，有contex和response两个内容，其中context包含了众多信息：历史对话，背景知识，以及对话与对话之间分隔的符号[EOU], [BOU]等等，如果有背景知识的话，也会列到context中response则是训练中需要的部分，在测试中这一部分是空的。
TokenEmbeddings表示各语言单元的Embedding（词向量）；RoleEmbeddings是各个语言单元在其中扮演的角色，这个主要是用来区分内容是context（EA）还是response（EB）（亦或是背景知识，背景知识可以作为response的角色，也可以单独成为一类，即EC）；TurnEmbeddings表示每一部分在当前回合中的相对回合数；PositionEmbeddings则是每个语言单元的位置，一般是range(0, len(context))。
知道了这些，我们回到Record上来看这个输入应该怎么得到。由定义可知，Record是带名称的元组，这样我们立马可以知道，这个元组是通过名称来调用其中的内容的。fields的内容是什么呢？从官方的源码中可以总结出：fields = [“token_ids”, “type_ids”, “pos_ids”, “tgt_start_idx”, “data_id”]。也就是说，输入需要给出5个部分，token_ids就是处理过的语言单位的编码；type_ids就是个语言单位扮演的角色，是context还是response；pos_ids是各个语言单位的位置；tgt_start_idx是回复生成的开始位置，也即context的最后一个词的位置；data_id就是这个训练样本的标记。
部分数据集展示
三个任务场景：闲聊、知识、推荐
六大数据集：
1.闲聊对话：华为的微博数据 [1] ，北航和微软的豆瓣多轮对话 [2]，清华的LCCC数据集[3]
2.知识对话：百度的DuConv [4]，清华的KdConv [5]，腾讯的检索辅助生成对话数据集 [6]
3.推荐对话：百度的DuRecDial [7]
数据预处理代码
数据预处理代码在./luge-dialogue/tools/convert_data_to_numerical.py
对于六大数据集的不同组成部分都转换成了四个元素type: 三大任务类型：闲聊+知识+推荐knowledge: 对话段背后的知识背景（如知识图谱）context: 对话上文response:对话下文（训练时已知，测试预测时未知）
type_dict = {"chitchat": 30001, "knowledge": 30002, "recommend": 30003}
line75
在六个数据集均被转换成四个组成元素后，均被def convert_sample_to_numerical()进行id化
在该函数中均用sentencepiece.SentencePieceProcessor()进行分词编码处理
response_ids = sp.EncodeAsIds(response) + [2]
knowledge_ids = sp.EncodeAsIds(knowledge) + [2]
utterance_ids = sp.EncodeAsIds(utterance) + [2]
# context同样处理，不过先进行split分句
if context != "":
for utterance in context.split('\t'):
utterance_ids = sp.EncodeAsIds(utterance) + [2]
context_ids_list.append(utterance_ids)
# 对话上文通过append将均在context_ids_list中，并通过截断或填充等长得到
truncate_type, new_context_ids_list = truncate_ids_list(context_ids_list, max_seq_len - max_response_len - 2, truncate_first_turn=truncate_first_turn)
truncate_type_stat[truncate_type] += 1
# 对话下文同样进行截断或填充
# 最后，将对话上文+对话下文的id均放在token_ids中
# token_ids的初始
token_ids = [1, type_id]
# sent_ids存对话上文还是对话下文，上文用0，下文用1表示
# sent_ids的初始
sent_ids = [0, 0]
# position_ids存整个对话的位置信息，即文本的位置编码
position_ids = range(len(token_ids))
具体处理过程可阅读上述精简代码和注释，最终将对话文本编码成三个id序列：token_ids：任务类型（闲聊、知识、推荐） + 知识 + 对话上文 + 【对话下文】(测试集无下文)sent_ids： 对话上文、下文的01编码，上文用0，下文用1（注意：token_ids中的知识算作对话上文）position_ids：位置编码，连续自然数代表，从0、1、2、…到len(token_ids)
至此，文本编码过程完成
训练与预测
训练的方式如上图，传入conf参数文件进行训练
首先在./scripts/local/train.sh中，可以通过export修改可使用GPU数量，如下图使用单卡
conf参数文件，以12L_train.conf为例，传给train.py文件的所需参数
好了，在Plato模型的训练阶段都将通过train.py，它通过调用其余文件进行模型的训练过程，其中多为传参代码。
在train.py中的训练方式是调用tasks/task_base.py进行训练
而task_base.py又是调用models/model_base.py进行具体的训练操作
-
generator.py：定义了模型的预测输出，其中包含了beam-search、temperature、topk、num_samples等参数的设定与解码的实现 -
model_base.py：实现了模型的训练与预测 -
nsp_model.py：取出模型的不同层，进行lm_loss、nsp_loss 、nsp_acc的计算（MLM语言模型loss、） -
optimizer.py：自定义的AdamW -
unified_transformer.py：seq2seq，一对一映射的传统模型
在Plato模型中，最基本的组成单位就是transformer_block
因此，让我们来看models/transformer_block.py，最基本也是最重要的文件
对于Multi-head self attention和Fnn不再阐述，没有特别的
值得注意的是pre_post_process_layer通过函数接收到的cmd字符串来实现
如BERT使用的post-normalization或GPT-2使用的pre-normalization，因Plato的参数量和数据量在本文件代码中使用cmd=n实现pre-normalization，当然可以修改cmd=da实现post-normalization
除此之外，还值得注意的是plato.py文件
通过gumbel_softmax实现离散隐空间的“采样”操作
参考与引用：
https://zhuanlan.zhihu.com/p/292013818
https://www.datafountain.cn/competitions/470/datasets
标签：py,SOTA,PLATO,ids,token,源码,对话,context,response 来源： https://blog.51cto.com/u_15273918/2917735
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。