作者：CHEONG 公众号：AI机器学习与知识图谱 研究方向：自然语言处理与知识图谱 阅读本文之前，首先注意以下两点： 1、机器学习系列文章常含有大量公式推导证明，为了更好理解，文章在最开始会给出本文的重要结论，方便最快速度理解本文核心。需要进一步了解推导细节可继续往后看。 2、
自然语言处理，前面和大家说了 【新手上路常见问答】关于自然语言处理（NLP）【实战技能】自然语言处理（NLP）的案例一：依赖解析 今天继续和大家聊聊我自己做的作业案例。作业来自Coursera上的Introduction to Natural Language Processing这门课，讲师是Dragomir R. Radev, Ph.D.，Univers
微信公众号关注：脑机接口研习社 追踪脑机接口最新发展资讯 系列文章目录 Day1 当脑机接口遇上机器学习：周志华《机器学习》读书笔记之绪论 Day2 周志华《机器学习》读书笔记之模型评估 文章目录 系列文章目录前言Day 3一、比较检验1. 二项分布和二项检验2. t检验（t-test
兜哥 FreeBuf*原创作者：兜哥，本文属Freebuf原创奖励计划，未经许可禁止转载 前言我们介绍了HMM的基本原理以及常见的基于参数的异常检测实现，这次我们换个思路，把机器当一个刚入行的白帽子，我们训练他学会XSS的***语法，然后再让机器从访问日志中寻找符合***语法的疑似***日志。通
在还没开始讲解源码之前，我先贴出一个数据结构HMMSet： /* ---------------------- HMM Sets ----------------------------- */ typedef struct _HMMSet{ MemHeap *hmem; /* memory heap for this HMM Set */ Boolean *firstElem; /* first element add
本文将尽量使用易懂的方式，尽可能不涉及数学公式，而是从整体的思路上来看，运用感性直觉的思考来解释条件随机场。并且用水浒传为例学习。并且从名著中找了具体应用场景来帮助大家深入这个概念。[白话解析] 用水浒传为例学习条件随机场0x00 摘要本文将尽量使用易懂的方式，尽可能不涉及数
本文将尽量使用易懂的方式，尽可能不涉及数学公式，而是从整体的思路上来看，运用感性直觉的思考来解释隐马尔可夫模型。并且从名著中找了个具体应用场景来帮助大家深入这个概念。[白话解析]以水浒传为例学习隐马尔可夫模型0x00 摘要本文将尽量使用易懂的方式，尽可能不涉及数学公式，而是从
01 语音识别基础与发展 1.1 语音识别基础 语音识别全称为“自动语音识别”，Automatic Speech Recognition (ASR), 一般是指将语音序列转换成文本序列。语音识别最终是统计优化问题，给定输入序列O={O1,...,On}，寻找最可能的词序列W={W1,...,Wm}，即寻找使得概率P(W|O)最大的词序列。用
1. 语音识别基础与发展 1.1 语言识别基础 语音识别全称为“自动语音识别”，Automatic Speech Recognition (ASR), 一般是指将语音序列转换成文本序列。语音识别最终是统计优化问题，给定输入序列O={O1,…,On}，寻找最可能的词序列W={W1,…,Wm}，即寻找使得概率P(W|O)最大的词序列。
昨天在AINLP公众号上分享了乐雨泉同学的投稿文章：《分词那些事儿》，有同学留言表示"不过瘾"，我想了想，其实我爱自然语言处理博客上已经积攒了不少中文分词的文章，除了基于深度学习的分词方法还没有探讨外，“古典”机器学习时代的中文分词方法都有涉及，从基于词典的中文分词（最大匹配法），到基
隐马尔科夫模型-基本模型与三个基本问题这次学习会讲了隐马尔科夫链，这是一个特别常见的模型，在自然语言处理中的应用也非常多。常见的应用比如分词，词性标注，命名实体识别等问题序列标注问题均可使用隐马尔科夫模型.下面，我根据自己的理解举例进行讲解一下HMM的基本模型以及三个基本问
隐含马尔可夫模型（Hidden Markov Model，HMM）最初是在20世纪60年代后半期，由Leonard E. Baum和其他一些作者在一系列统计学论文中描述的。其最初应用于语音识别领域。 1980年代后半期，HMM开始应用到生物序列，尤其是DNA序列的分析中。随后，在生物信息学领域，HMM逐渐成为一项不可或缺的技术
注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《分布式机器学习实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】 文章目录 自然语言处理系列二十三词性标注HMM词性标注 总结 自然语言处理系列二十三 词性标注 词性标注（Part-Of-Speech tag
什么是熵(Entropy) 简单来说，熵是表示物质系统状态的一种度量，用它老表征系统的无序程度。熵越大，系统越无序，意味着系统结构和运动的不确定和无规则；反之，，熵越小，系统越有序，意味着具有确定和有规则的运动状态。
1. overview note: 最大熵模型：是一种log linear模型（log（wTf（x））），f（x）是exponential function，所以加上log后变成linear模型。 log linear模型定义：A log-linear model is a mathematical model that takes the form of a function whose logarithm equals a linear combination of th
序列数据包括时间序列以及串数据，常见的序列有时时序数据、文本数据、语音数据等。处理序列数据的模型成为序列模型。序列模型是自然语言处理中的一个核心模型，依赖时间信息。传统机器学习方法中序列模型有隐马尔科夫模型(Hidden Markow Model,HMM)和条件随机场(Conditional Ra
隐马尔科夫模型-基本模型与三个基本问题 这次学习会讲了隐马尔科夫链，这是一个特别常见的模型，在自然语言处理中的应用也非常多。 常见的应用比如分词，词性标注，命名实体识别等问题序列标注问题均可使用隐马尔科夫模型. 下面，我根据自己的理解举例进行讲解一下HMM的基本模型以及三个基本
隐马尔可夫模型HMM 隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析，例如模式识别。 和HMM模型相关的算法主要分为三类，分别解决三种问题：
上一专题GMM-HMM声学模型中讲述了其理论知识，这一章利用理论搭建一套GMM-HMM系统，来识别连续0123456789的英文语音。 本系统是单音素，未涉及后面三音子的训练以及决策树的内容。 在GMM专题和HMM专题中分别讲述了其训练都是EM算法，那么融合形成GMM-HMM模型后会如何训练？是应用一个EM算
之前讲了结构化学习的概念，其实学习都可以看做是两个步骤，只要回答三个问题，就可以解决所有学习的task。 序列标注 现在函数input是一个sequence，output也是一个sequence（先假设两个sequence的长度一样）。如上图所示，input \(x\)是\(x_1,x_2,...,x_L\)，output \(y\)是\(y_1,y_2,...,y_L\)
目录 知识串讲 HMM VS MEMM 从随机场到马尔科夫随机场 条件随机场(CRF) MRF因子分解定理 线性链条件随机场(Linear-CRF) 一句话简介：条件随机场(Conditional Random Fields, 以下简称CRF)是给定一组输入序列条件下另一组输出序列的条件概率分布模型（是给定随机变量X条件下，
概率图模型是一类用途来表达相关关系的概率模型。它以图为表示工具，最常见的是用一个结点表示一个或一组随机变量，节点之间的边表示变量间的概率相关关系，即“变量相关图”。 根据边的性质不同，概率图模型可大致分为两类：第一类是使用有向无环图表示变量间的依赖关系，称为有向无环图或者
往期文章链接目录 Before reading this post, make sure you are familiar with the EM Algorithm and decent among of knowledge of convex optimization. If not, please check out my previous post EM Algorithm convex optimization primal and dual problem Le
通过收集大量有标注的语料，估算状态转移概率和发射概率 HMM如何做词性标注 最笨的办法是穷举y来求P(x,y)的最大值，但是计算次数太多，所以通过维特比算法解这个问题 但是HMM有问题，加入y*是最优解，它并不能总是保证p(x,y*)>=p(x,y)，比如在这个图里，如果要算N->?->a，
