标签：NLP 12 字符 模型 斯坦福 单词 课程 子词

• 作者：韩信子@ShowMeAI，路遥@ShowMeAI，奇异果@ShowMeAI
• 教程地址：http://www.showmeai.tech/tutorials/36
• 本文地址：http://www.showmeai.tech/article-detail/249
• 声明：版权所有，转载请联系平台与作者并注明出处
• 收藏ShowMeAI查看更多精彩内容

---

ShowMeAI为斯坦福CS224n《自然语言处理与深度学习(Natural Language Processing with Deep Learning)》课程的全部课件，做了中文翻译和注释，并制作成了GIF动图！视频和课件等资料的获取方式见文末。

---

引言

授课计划

• A tiny bit of linguistics / 语法学基础知识
• Purely character-level models / 基于字符粒度的模型
• Subword-models: Byte Pair Encoding and friends / 子词模型
• Hybrid character and word level models / 混合字符与词粒度的模型
• fastText / fastText模型

1.语法学基础知识

1.1 人类语言的声音：语音学和语音体系

• 语音学 (honetics) 是音流无争议的 物理学

• 语音体系 (Phonology) 假定了一组或多组独特的、分类的单元：音素 (phoneme) 或者是独特的特征
  • 这也许是一种普遍的类型学，但却是一种特殊的语言实现
  • 分类感知的最佳例子就是语音体系
    • 音位差异缩小
    • 音素之间的放大

1.2 词法：词类

• 传统上，词素 (morphemes) 是最小的语义单位

\[\left[\left[\text {un}\left[[\text { fortun }(\mathrm{e})]_{\text { Root }} \text { ate }\right]_{\text { STEM }}\right]_{\text { STEM }} \text {ly}\right]_{\text { WORD }} \]

• 深度学习：形态学研究较少；递归神经网络的一种尝试是 (Luong, Socher, & Manning 2013)
  • 处理更大词汇量的一种可能方法：大多数看不见的单词是新的形态(或数字)

• 声音本身在语言中没有意义
• parts of words 是音素的下一级的形态学，是具有意义的最低级别

• 一个简单的替代方法是使用字符 n-grams
  • Wickelphones (Rumelhart & McClelland 1986)
  • Microsoft’s DSSM (Huang, He, Gao, Deng, Acero, & Hect2013)
• 使用卷积层的相关想法

• 能更容易地发挥词素的许多优点吗？

1.3 书写系统中的单词

• 书写系统在表达单词的方式上差异有大有小

• 没有分词 (没有在单词间放置空格)
  • 例如中文

• 大部分的单词都是分开的：由单词组成了句子
  • 附着词
    • 分开的
    • 连续的
  • 复合名词
    • 分开的
    • 连续的

1.4 比单词粒度更细的模型

• 需要处理数量很大的开放词汇：巨大的、无限的单词空间
  • 丰富的形态
  • 音译 (特别是名字，在翻译中基本上是音译)
  • 非正式的拼写

1.5 字符级模型

• ① 词嵌入可以由字符嵌入组成

  • 为未知单词生成嵌入
  • 相似的拼写共享相似的嵌入
  • 解决OOV问题

• ② 连续语言可以作为字符处理：即所有的语言处理均建立在字符序列上，不考虑 word-level

• 这两种方法都被证明是非常成功的！
  • 有点令人惊讶的是：一般意义上，音素/字母不是一个语义单元：但深度学习模型构成了group
  • 深度学习模型可以存储和构建来自多个字母组的含义表示，以模拟语素和更大单位的意义，汇总形成语义

1.6 单词之下：书写系统

• 大多数深度学习NLP的工作，都是从语言的书面形式开始的：这是一种容易处理的、现成的数据
• 但是人类语言书写系统不是一回事！各种语言的字符是不同的！

2.基于字符粒度的模型

2.1 纯字符级模型

• 上节课，我们看到了一个很好的用于句子分类的纯字符级模型的例子
  • 非常深的卷积网络用于文本分类
  • Conneau, Schwenk, Lecun, Barrault.EACL 2017

• 强大的结果通过深度卷积堆叠

2.2 字符级别输入输出的机器翻译系统

• 最初，效果令人不满意
  • (Vilaret al., 2007; Neubiget al., 2013)

• 只有decoder (初步成功)
  • (JunyoungChung, KyunghyunCho, YoshuaBengio. arXiv 2016).

• 然后，出现了还不错的结果
  • (Wang Ling, Isabel Trancoso, Chris Dyer, Alan Black, arXiv 2015)
  • (Thang Luong, Christopher Manning, ACL 2016)
  • (Marta R. Costa-Jussà, José A. R. Fonollosa, ACL 2016)

2.3 English-Czech WMT 2015 Results

• Luong 和 Manning 测试了一个纯字符级 seq2seq (LSTM) NMT 系统作为基线
• 它在单词级基线上运行得很好
  • 对于 UNK，是用 single word translation 或者 copy stuff from the source

• 字符级的 model 效果更好了，但是太慢了
  • 但是运行需要3周的时间来训练，运行时没那么快
  • 如果放进了 LSTM 中，序列长度变为以前的数倍 (大约七倍)

2.4 无显式分割的完全字符级神经机器翻译

• Jason Lee, KyunghyunCho, Thomas Hoffmann. 2017.
• 编码器如下
• 解码器是一个字符级的 GRU

2.5 #论文解读# Stronger character results with depth in LSTM seq2seq model

• Revisiting Character-Based Neural Machine Translation with Capacity and Compression. 2018. Cherry, Foster, Bapna, Firat, Macherey, Google AI

• 在 LSTM-seq2seq 模型中，随着深度的增加，特征越强
• 在捷克语这样的复杂语言中，字符级模型的效果提升较为明显，但是在英语和法语等语言中则收效甚微。
  • 模型较小时，word-level 更佳
  • 模型较大时，character-level 更佳

3.子词模型

3.1 子词模式：两种趋势

• 与 word 级模型相同的架构
  • 但是使用更小的单元： word pieces
  • [Sennrich, Haddow, Birch, ACL’16a], [Chung, Cho, Bengio, ACL’16].

• 混合架构
  • 主模型使用单词，其他使用字符级
  • [Costa-Jussà& Fonollosa, ACL’16], [Luong & Manning, ACL’16].

3.2 字节对编码/BPE

• 最初的压缩算法
  • 最频繁的字节 → 一个新的字节。

• 用字符 ngram 替换字节(实际上，有些人已经用字节做了一些有趣的事情)

• Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural Machine Translation of Rare Words with SubwordUnits. ACL 2016.
  • https://arxiv.org/abs/1508.07909
  • https://github.com/rsennrich/subword-nmt
  • https://github.com/EdinburghNLP/nematus

• 分词 (word segmentation) 算法
  • 虽然做得很简单，有点像是自下而上的短序列聚类

• 将数据中的所有的 Unicode 字符组成一个 unigram 的词典
• 最常见的 ngram pairs 视为 一个新的 ngram

• BPE 并未深度学习的有关算法，但已成为标准且成功表示 pieces of words 的方法，可以获得一个有限的词典与无限且有效的词汇表。

• 有一个目标词汇量，当你达到它的时候就停止
• 做确定性的最长分词分割
• 分割只在某些先前标记器 (通常MT使用的 Moses tokenizer) 标识的单词中进行
• 自动为系统添加词汇
  • 不再是基于传统方式的 strongly word

• 2016年WMT排名第一！仍然广泛应用于2018年WMT
• https://github.com/rsennrich/nematus

3.3 Wordpiece / Sentencepiece模型

• 谷歌 NMT (GNMT) 使用了它的一个变体
  • V1: wordpiece model
  • V2: sentencepiece model

• 不使用字符的 n-gram count，而是使用贪心近似来最大化语言模型的对数似然函数值，选择对应的 pieces
  • 添加最大限度地减少困惑的 n-gram

• Wordpiece模型标记内部单词

• Sentencepiece模型使用原始文本
  • 空格被保留为特殊标记(_)，并正常分组
  • 可以通过将片段连接起来并将它们重新编码到空格中，从而在末尾将内容反转

• https://github.com/google/sentencepiece
• https://arxiv.org/pdf/1804.10959.pdf

• BERT 使用了 wordpiece 模型的一个变体
  • (相对) 在词汇表中的常用词
    • at, fairfax, 1910s
  • 其他单词由wordpieces组成
    • hypatia = h ##yp ##ati ##a

• 如果你在一个基于单词的模型中使用 BERT，你必须处理这个

3.4 字符级构建单词级

• Learning Character-level Representations for Part-ofSpeech Tagging (Dos Santos and Zadrozny 2014)

• 对字符进行卷积以生成单词嵌入
• 为 PoS 标签使用固定窗口的词嵌入

3.5 基于字符的LSTM构建单词表示

• Bi-LSTM构建单词表示

3.6 #论文解读# Character-Aware Neural Language Models

• 一个更复杂/精密的方法

• 动机
  • 派生一个强大的、健壮的语言模型，该模型在多种语言中都有效
  • 编码子单词关联性：eventful, eventfully, uneventful…
  • 解决现有模型的罕见字问题
  • 用更少的参数获得可比较的表达性

• 字符级别嵌入输入
• CNN+高速网络+LSTM

• 字符级别输入 + 卷积处理
• Max-over-time池化

• N-gram 语法交互模型
• 在传递原始信息的同时应用转换
• 功能类似于 LSTM 内存单元

• 使用层次化 Softmax 处理大的输出词汇表
• 使用 truncated backprop through time 进行训练

• 本文对使用词嵌入作为神经语言建模输入的必要性提出了质疑
• 字符级的 CNNs + Highway Network 可以提取丰富的语义和结构信息
• 关键思想：您可以构建 building blocks 来获得细致入微且功能强大的模型！

4.混合字符与词粒度的模型

4.1 混合NMT

• 混合高效结构
  • 翻译大部分是单词级别的
  • 只在需要的时候进入字符级别

• 使用一个复制机制，试图填充罕见的单词，产生了超过 2个点的 BLEU 的改进

• 单词级别 (4层)
• End-to-end training 8-stacking LSTM layers：端到端训练 8 层 LSTM

4.2 二级解码

• 单词级别的集束搜索
• 字符级别的集束搜索 (遇到 ) 时

补充讲解

• 混合模型与字符级模型相比
  • 纯粹的字符级模型能够非常有效地使用字符序列作为条件上下文
  • 混合模型虽然提供了字符级的隐层表示，但并没有获得比单词级别更低的表示

4.3 English - Czech Results

• 使用WMT’15数据进行训练 (12M句子对)
  • 新闻测试2015

• 30倍数据
• 3个系统
• 大型词汇+复制机制

• 达到先进的效果！

4.4 Sample English-czech translations

• 翻译效果很好！

• 基于字符：错误的名称翻译
• 基于单词：对齐不正确
• 基于字符的混合：diagnóze的正确翻译
• 基于单词：特征复制失败

• 混合：正确，11-year-old-jedenactileta
• 错误：Shani Bartova

4.5 单词嵌入中的字符应用

• 一种用于单词嵌入和单词形态学的联合模型(Cao and Rei 2016)
  • 与 w2v 目标相同，但使用字符
  • 双向 LSTM 计算单词表示
  • 模型试图捕获形态学
  • 模型可以推断单词的词根

5.fastText模型

• 用子单词信息丰富单词向量
  Bojanowski, Grave, Joulinand Mikolov. FAIR. 2016.
  • https://arxiv.org/pdf/1607.04606.pdf
  • https://fasttext.cc

• 目标：下一代高效的类似于 word2vecd 的单词表示库，但更适合于具有大量形态学的罕见单词和语言
• 带有字符 n-grams 的 w2v 的 skip-gram 模型的扩展

• 将单词表示为用边界符号和整词扩充的字符 n-grams

\[where =,where =<wh,whe,her,ere,re>,<where> \]

• 注意 \(<her>\)、\(<her\)是不同于 \(her\)的
  • 前缀、后缀和整个单词都是特殊的

• 将 word 表示为这些表示的和。上下文单词得分为

\[S(w, c)=\sum g \in G(w) \mathbf{Z}_{g}^{\mathrm{T}} \mathbf{V}_{C} \]

• 细节：与其共享所有 n-grams 的表示，不如使用 hashing trick 来拥有固定数量的向量

• 低频罕见单词的差异收益

Suggested Readings

• Character Level NMT
• Byte Pair Encoding
• Minh-Thang Luong and Christopher Manning
• FastText 论文

6.视频教程

可以点击 B站 查看视频的【双语字幕】版本

7.参考资料

• 本讲带学的在线阅翻页本
• 《斯坦福CS224n深度学习与自然语言处理》课程学习指南
• 《斯坦福CS224n深度学习与自然语言处理》课程大作业解析
• 【双语字幕视频】斯坦福CS224n | 深度学习与自然语言处理(2019·全20讲)
• Stanford官网 | CS224n: Natural Language Processing with Deep Learning

ShowMeAI系列教程推荐

• 大厂技术实现 | 推荐与广告计算解决方案
• 大厂技术实现 | 计算机视觉解决方案
• 大厂技术实现 | 自然语言处理行业解决方案
• 图解Python编程：从入门到精通系列教程
• 图解数据分析：从入门到精通系列教程
• 图解AI数学基础：从入门到精通系列教程
• 图解大数据技术：从入门到精通系列教程
• 图解机器学习算法：从入门到精通系列教程
• 机器学习实战：手把手教你玩转机器学习系列
• 深度学习教程 | 吴恩达专项课程 · 全套笔记解读
• 自然语言处理教程 | 斯坦福CS224n课程 · 课程带学与全套笔记解读

NLP系列教程文章

• NLP教程(1)- 词向量、SVD分解与Word2vec
• NLP教程(2)- GloVe及词向量的训练与评估
• NLP教程(3)- 神经网络与反向传播
• NLP教程(4)- 句法分析与依存解析
• NLP教程(5)- 语言模型、RNN、GRU与LSTM
• NLP教程(6)- 神经机器翻译、seq2seq与注意力机制
• NLP教程(7)- 问答系统
• NLP教程(8)- NLP中的卷积神经网络
• NLP教程(9)- 句法分析与树形递归神经网络

斯坦福 CS224n 课程带学详解

• 斯坦福NLP课程 | 第1讲 - NLP介绍与词向量初步
• 斯坦福NLP课程 | 第2讲 - 词向量进阶
• 斯坦福NLP课程 | 第3讲 - 神经网络知识回顾
• 斯坦福NLP课程 | 第4讲 - 神经网络反向传播与计算图
• 斯坦福NLP课程 | 第5讲 - 句法分析与依存解析
• 斯坦福NLP课程 | 第6讲 - 循环神经网络与语言模型
• 斯坦福NLP课程 | 第7讲 - 梯度消失问题与RNN变种
• 斯坦福NLP课程 | 第8讲 - 机器翻译、seq2seq与注意力机制
• 斯坦福NLP课程 | 第9讲 - cs224n课程大项目实用技巧与经验
• 斯坦福NLP课程 | 第10讲 - NLP中的问答系统
• 斯坦福NLP课程 | 第11讲 - NLP中的卷积神经网络
• 斯坦福NLP课程 | 第12讲 - 子词模型
• 斯坦福NLP课程 | 第13讲 - 基于上下文的表征与NLP预训练模型
• 斯坦福NLP课程 | 第14讲 - Transformers自注意力与生成模型
• 斯坦福NLP课程 | 第15讲 - NLP文本生成任务
• 斯坦福NLP课程 | 第16讲 - 指代消解问题与神经网络方法
• 斯坦福NLP课程 | 第17讲 - 多任务学习(以问答系统为例)
• 斯坦福NLP课程 | 第18讲 - 句法分析与树形递归神经网络
• 斯坦福NLP课程 | 第19讲 - AI安全偏见与公平
• 斯坦福NLP课程 | 第20讲 - NLP与深度学习的未来

标签：NLP,12,字符,模型,斯坦福,单词,课程,子词
来源： https://www.cnblogs.com/showmeai/p/16277223.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。