使用Gram-Schmidt融合方法能得到较好的融合效果，也适合于国产卫星数据。在ENVI中Gram-Schmidt融合工具使用非常简单，当图像有很多背景0值情况下（如下图），则需要使用掩膜文件，让背景不参与融合能达到很好的效果。 图1：国产卫星数据 由于需要使用掩膜文件，需要使用Classic界
参考： https://zhuanlan.zhihu.com/p/34219483 https://zhuanlan.zhihu.com/p/338488036 https://blog.csdn.net/nstarLDS/article/details/105895113 自然语言处理中的概念：在NLP中，我们需要计算句子的概率大小： 这也就表示一句话的概率——概率大，说明更合理；概率小，说明不合
词嵌入算法 版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/lilong117194/article/details/82085172 基于神
1 背景 1.1 文本数据的向量化 文本数据，和图片数据非常类似，并不能够直接被机器理解，必须要将其建立一个双射，将这些数据转化为数字。比如说，图片可以转化成n*m*1（黑白图片）或者n*m*3（RGB）的三维矩阵。同样的，对于一个文本中出现的每一个单词，我们都要找到其对应的数字化表
（原创） word2vec是将单词转为向量，并为后续应用机器学习的算法做准备。 经典的模型有两种，skip-gram和cbow， 其中，skip-gram是给定输入单词来预测上下文，而cbow相反，是给定上下文来预测输入单词。下面主要介绍skip-gram： 1.skip-gram训练词对 skip-gram首先设定所谓一个值（ skip_window），作
直接上代码 def n_grams(s, n): # 计算分词后的n-gram s:list tokens n: gram num result = [] for i in range(len(s)-n+1): res = "".join(s[i:i+n]) result.append(res) return result for each in data[:10].iterrows(): item =
用过n-gram但没用好，所以改行了。没事瞎琢磨的： n-门问题用来面试不坏。 什么叫句子的概率？设一个语言有10个句子，某个句子100%属于这个语言，P(该句子)=0.1而不是1，因为还有别的句子呢，句子们的概率和是1. 不过在比较句子的概率时，可以大家都放大一个倍数，免得一堆小数字乘到最后成了0. P(A
Enriching Word Embeddings for Patent Retrieval with Global Context 利用全局上下文丰富专利检索词嵌入 Abstract. 在本研究中，我们探讨词汇嵌入在专利检索中的应用，是基于分布式语义的方法。 什么是分布式语义https://blog.csdn.net/flying_1314/article/details/117930877
1.含义 假设有一个字符串s，那么该字符串的N-Grams就表示按长度 N 切分原词得到的词段，也就是s中所有长度为 N 的子字符串。 该模型基于这样一种假设，第N个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中
语言模型用来判断：是否一句话从语法上通顺 先分词 然后算出联合概率 怎么算？ chain rule 条件很长的时候 会遇到一个问题 sparsity 数据的稀疏性 用马尔科夫假设 最简单的假设 之前的单词不影响当前单词的条件 unigram model 一阶假设 可以理解为 只被最近的单词影响
也许更好的阅读体验 基于理解的分词方法 其基本思想是在分词的同时进行句法、语义的分析，以此来处理歧义问题。 目前这种方法还处于实验状态 基于统计的分词方法 基本思路 构建语言模型，对句子进行单词划分，划分结果运用统计方法计算概率，获取概率最大的分词方式 N元语言模型（N-gram语
文本特征处理&数据增强 1. 文本特征处理1.1 什么是n-gram特征1.2 文本长度规范及其作用 2. 文本数据增强2.1 什么是回译数据增强法2.2 回译数据增强实现 总结 1. 文本特征处理 了解文本特征处理的作用.掌握实现常见的文本特征处理的具体方法. 文本特征处理的作用: 文本特
FastText情感分析 在不使用RNN进行句子的情感分析的条件下，最简单的方法就是将每个句子中划分的token的vector进行平均，然后送入线性分类层中分类即可。但这种操作值考虑了token的含义，并没有关注其语序，有较大的误差。 所以FastText计算了输入句子的n-gram，并将n-gram作为一种附
fasttext n-gram实现model fasttext用于词向量和文本分类，使用词袋以及n-gram袋表征语句 n-gram实现 def biGramHash(sequence, t, buckets): t1 = sequence[t - 1] if t - 1 >= 0 else 0 return (t1 * 14918087) % buckets def triGramHash(seq
pandas中把读取到的string值转换成object类型 pd.read_csv dataFrame .head .tail() .columns .shape .dtypes .loc[col_name] 取列 col_names = food_info.columns.tolist() print(col_names) gram_columns = [] for c in col_names: if c.endswith("(g)"): gra
TFT-LCD 即薄膜晶体管液晶显示器，其英文全称为：Thin Film Transistor-Liquid CrystalDisplay。TFT-LCD 与无源 TN-LCD、STN-LCD 的简单矩阵不同，它在液晶显示屏的每一个象素上都设置有一个薄膜晶体管（TFT），可有效地克服非选通时的串扰，使显示液晶屏的静态特性与扫描线数无关，因此大大提
什么是BLEU？ BLEU (Bilingual Evaluation Understudy) is an algorithm for evaluating the quality of text which has been machine-translated from one natural language to another. Quality is considered to be the correspondence between a machine's output and
1 skip-gram举例 假设在我们的文本序列中有5个词，[“the”，“man”，“loves”，“his”，“son”]。 假设我们的窗口大小skip-window=2，中心词为“loves”，那么上下文的词即为：“the”、“man”、“his”、“son”。这里的上下文词又被称作“背景词”，对应的窗口称作“背景窗口”。 跳字模
2021年7月2号考试回忆 一共七道题，分值就不记得了反正前四道就20,15分这样，最后三道一道10分 第一题： n-gram知识点： 1，n-gram的概念 2，写出“I am in Shandong University”的1-gram，2-gram，3-gram 3，给出其他四句话，计算第二问中的2-gram句子概率。 第二题： 语言模型： 1，汉语的分词方法有
资料放在前面： 文章的贡献如下： （1）提出了一个基于最大化MI的理论框架来理解词表示学习模型，并将已知的方法统一到这个框架之中，如skip-gram，masked language modeling（如BERT）和permutation language modeling（如XLNET）。并指出BERT和Skip-gram其实在最大化一个相似的目标式，而他们最大的不同
ILI9341 液晶控制器详解 1、ILI9341 液晶控制器简介： ILI9341 液晶控制器自带显存，其显存总大小为 172800（24032018/8），即 18 位模式（26万色）下的显存量。在 16 位模式下，ILI9341 采用 RGB565 格式存储颜色数据，此时 ILI9341的 18 位数据线与 MCU 的 16 位数据线以及 LCD GRAM 的对应
目的：为了更系统的学习，在这里总结了NLP文本表示的若干方法，部分代码，仅供参考，欢迎交流。 代码 文本表示 离散表示：代表：词袋模型，one-hot，TF-IDF, N-gram。 分布式表示：词嵌入(word embedding)，经典模型：词向量（word2vec）、Glove、ELMo、GPT、BERT。 一. 离散表示 One-hot encoded one-hot向
总结得清晰简明，转之～ from https://blog.csdn.net/qfikh/article/details/105649650 相似： 图模型结构很像，都是采用embedding向量的形式，得到word的隐向量表达。都采用很多相似的优化方法，比如使用Hierarchical softmax优化训练和预测中的打分速度。不同点： 1.word2vec是一个无监督算
多分类文本处理与特征工程 1. 语言模型 语言模型（LM，Language Model）就是用来判断某个句子是否语义通顺。首先对句子进行分词，句子的概率可以表示为各个词的联合概率：$ P(s)=P(w_1,w_2,...,w_n)$。 根据Chain rule: P(A,B,C,D)=P(A)P(B|A)P(C|A,B)P(D|A,B,C),可以转化： \[P(s)=P(w_1,w_2
导读word2vec主要实现方法是Skip-gram和CBOW,CBOW的目标是根据上下文来预测当前词的概率，且上下文所有的词对当前词出现概率的影响的权重是一样的，因此叫做continuous bag-of-words模型。如在袋子中取词，去取出数量足够的词就可以了，与取出词的先后顺序无关。Skip-gram刚好相反，其是根据
