# Lecture 1：概括与基础 和 supervised learning 的区别： * 强化学习是Sequential data作为input，每次输入并不是独立同分布 * 没有ground truth, learner不会被告知什么action是正确的。需要不断去尝试 * Trail-and-error exploration（balance between explioration and exploita
1.相关概念及关系： (1) (2)相对熵 D（ p | | q ）:在p的概率分布下q比p多的信息量（个人理解） （3）条件互信息量 I( X ; Y|Z ) : I( X ; Y|Z ) = H( X|Z )-H( X|Y,Z ). 理解：Y｜Z是Y比Z多的信息量 (4) 垂直符号：独立 2.链式法则： 3.Markov Chain(三元) Markov
请关注微信公众号：生态遥感笔记，获取更多干货！ 1 数据准备 想要模拟未来土地利用数据，需要一些数据，主要包括：2期土地利用数据（3期也行），众多你挑选的驱动因素数据。这些数据都有一定的要求： (1) 所有数据必须是tif格式数据，且必须投影坐标系一致； (2) 土地利用数据必须行列号一致！！（但我自己做
文章目录 1、马尔科夫过程（Markov Process）1）随机过程（Stochastic Process）2）马尔科夫性质（Markov Property）3）马尔科夫过程（Markov Process）或被称为马尔科夫链（Markov Chain） 2、马尔科夫奖励过程（Markov Reward Process）1）回报（Return）2）价值函数（Value Function） 3、马尔科夫决策过程（Markov
Hidden Markov Model (HMM) 隐马尔可夫模型 离散马尔可夫过程：一个系统，其在任意时刻会处于且只能处于N个状态中的一个。记状态集为$S=\{S_1, S_2, ..., S_N\}$，系统在时刻t时的状态为$q_t$，意味着$q_t=S_i\in S, 1\leqslant i \leqslant N$。这里的时刻的内涵在于其是某种序列上的一
本文为《统计学习方法》的读书笔记 目录 隐马尔可夫模型的基本概念隐马尔可夫模型的定义观测序列的生成过程隐马尔可夫模型的 3 个基本问题 概率计算算法直接计算法前向算法 (forward algorithm)后向算法 (backward algorithm)一些概率与期望值的计算 学习算法监督学习方法
1.一次性弄懂马尔可夫模型、隐马尔可夫模型、马尔可夫网络和条件随机场！_ITPUB博客文章目录1. 马尔可夫网络、马尔可夫模型、马尔可夫过程、贝叶斯网络的区别2. 马尔可夫模型2.1 马尔可夫过程3. 隐马尔可夫模型(HMM)3.1 隐马尔可夫三大问题3.1.1 第一个问题解法3.1.2 第二个问题
markov matrix two special properties of A(markov matrix) Every entry of A is positive: a i j
这篇是对于论文的总结和个人的一些观点，关于代码部分请看下一篇： 有什么问题和疑惑欢迎讨论，一起研究口令破解的技术。 文章主要讲了两个技术，基于模板的破解（PCFG这个在上篇中有讲）和基于字符串的破解（就是本篇重点markov）。 使用的口令集有6个，3个来自美国，3个来自中国，总共6kw。 mark
原文链接：http://tecdat.cn/?p=19611 过程会随着时间的推移而发展，结果会发生变化。 考虑一下经济衰退和扩张。在衰退开始时，产出和就业率下降并保持较低水平，然后，产出和就业率增加。从统计上讲，均值，方差和其他参数在各个状态之间都在变化。我们的问题是估计方案何时更改以及与每个
原文链接：http://tecdat.cn/?p=4182 案例 一个加油站有一个加油桩，没有空间供车辆等待（如果车辆到达，加油桩被占用，它就会离开）。车辆到达加油站的速率服从泊松过程λ=3/20每分钟，其中75％是汽车，25％是摩托车。加油时间可以用一个指数随机变量建模，平均汽车8分钟，摩托车3分钟，服务速率为汽车
1.词性标注(Part of Speech Tagging，POS) 1.1 基本概念 定义：标注出句子中各单词的词性，如名词、动词、形容词等 例子： 1.2 相关应用 应用： 命名实体识别 指代消歧 语音识别 2.马尔可
1. 马尔可夫模型 下面介绍几个马尔可夫模型中的重要概念： 1.1 一阶马尔可夫假设 (first order Markov assumption) n时刻的观测值只依赖于n-1时刻的观测值，即： p (
上文介绍了马尔科夫决策过程之Markov Processes（马尔科夫过程），可以移步到下面：马尔科夫决策过程之Markov Processes（马尔科夫过程） 本文我们总结一下马尔科夫决策过程之Markov Reward Process（马尔科夫奖励过程），value function等知识点。 1Markov Reward Process 马尔科夫奖励过程在马尔
基于层次过滤的文本生成 引言 目前文本生成最常用的算法基于 fully autoregressive 模型，比如 RNN 和 transformer。在 fully autoregressive 模型中，生成下一个词的概率取决于之前所有的词。 给定一个 fully autoregressive 模型，文本生成通常使用 beam search 从左
1.朴素贝叶斯模型（Naive Bayes，NB） 2.最大熵模型（Maximum Entropy Model，MaxEnt 或 MEM） （1）证明Logistic（Softmax）=MaxEnt （2）多项式分布&指数族分布 ①多项分布： ②指数族分布有：高斯/正态分布(Gaussian)、泊松分布（Poisson）、二项分布(Bernoulli)、指数分布(exponential)、Gamma分布、多
往期文章链接目录 Before reading this post, make sure you are familiar with the EM Algorithm and decent among of knowledge of convex optimization. If not, please check out my previous post EM Algorithm convex optimization primal and dual problem Le
原文链接：http://tecdat.cn/?p=12280 总览 本文简要介绍了一种简单的状态切换模型，该模型构成了隐马尔可夫模型（HMM）的特例。这些模型适应时间序列数据中的非平稳性。从应用的角度来看，这些模型在评估经济/市场状态时非常有用。这里的讨论主要围绕使用这些模型的科学性。 基本案例
原文链接：http://tecdat.cn/?p=12187 金融分析师通常关心检测市场何时“发生变化”：几个月或至几年内市场的典型行为可以立即转变为非常不同的行为。投资者希望及时发现这些变化，以便可以相应地调整其策略，但是这样做可能很困难。 RHmm从CRAN不再可用，因此我想使用其他软件包复制功
Good resource, Markov Chains Explained Visually, http://setosa.io/ev/markov-chains/ ============================ 马尔可夫链（Markov chain），又称离散时间马尔可夫链（discrete-time Markov chain），因俄国数学家安德烈·马尔可夫（俄语：Андрей Андрееви
本科阶段学了三四遍的HMM，机器学习课，自然语言处理课，中文信息处理课；如今学研究生的自然语言处理，又碰见了这个老熟人； 虽多次碰到，但总觉得一知半解，对其了解不够全面，借着这次的机会，我想要直接搞定这个大名鼎鼎的模型，也省着之后遇到再费心。 Outline 模型引入与背景介绍 从概
原文链接：http://tecdat.cn/?p=6962 假设 有时间序列数据，如下所示。经验表明，目标变量y似乎与解释变量x有关。然而，乍一看，y的水平在中间移动，所以它似乎并不总是有固定的关系（背后有多个状态）。 上面的样本数据创建如下。数据根据时间改变x和y之间的关系。 x <- rpois(50
I didn't know much about the book til I read it. Originally I thought the book was purely full of equations, formula and things about maths, but it's a surprise that the book contains lots of content about NLP. No wonder my teacher in NLP Lab re
