矩阵代数 特别性质： 1. 若 \(A_{p\times q}~,~B_{q\times p}\) , 则 \[\left|\boldsymbol{I}_{p}+\boldsymbol{A B}\right|=\left|\boldsymbol{I}_{q}+\boldsymbol{B} \boldsymbol{A}\right| \]证明: \[\begin{array}{c} \because\left[\begin{array}{cc} \boldsymbo
在介绍反向传播算法前，先看看矩阵微分的概念。 矩阵微积分 为了书写简便，我们通常把单个函数对多个变量或者多元函数对单个变量的偏导数写成向量和矩阵的形式，使其可以被当成一个整体处理． 标量关于向量的偏导数 对于 \(M\) 维向量 \(\boldsymbol{x} \in \mathbb{R}^{M}\) 和函数
1、语言模型 语言模型（language model）是自然语言处理的重要技术。 自然语言处理中最常见的数据是文本数据。 我们可以把一段自然语言文本看作一段离散的时间序列。 假设一段长度为\(T\)的文本中的词依次为\(w_1, w_2, \ldots, w_T\)，那么在离散的时间序列中，\(w_t\)（\(1 \leq t \leq T
基本思想：通过构造惩罚函数将约束问题转化为无约束问题，进而用无约束最优化方法求解。主要分为内点法和外点法。 注意：罚函数法对目标函数的凹凸性没有要求，且结合启发式算法（如遗传算法、蚁群算法、禁忌搜索等）几乎可以求解任何问题。因为启发式算法无需目标函数的梯度等信息。 一、
平面旋转。应该是比较好理解的版本。 我们对一个平面（逆时针）旋转 \(\beta\) 度，无非就是对每一个有意义的向量 \(\boldsymbol a = (x, y)\) 进行旋转。不妨考察单位向量 \(\boldsymbol e = (\cos \alpha, \sin \alpha)\)，令 \(\boldsymbol a = k \cdot \boldsymbol e\)，则由三角恒等变
论文信息 论文标题：Predict then Propagate: Graph Neural Networks meet Personalized PageRank论文作者：Johannes Gasteiger, Aleksandar Bojchevski, Stephan Günnemann论文来源：2019,ICLR论文地址：download 论文代码：download 1-Abstract 本文主要将 PageRank 算法引入到
隐私保护集合求交 隐私保护集合求交（Private Set Intersection,PSI）是这样的一类问题：有两个参与方P1、P2分别拥有两个集合X、Y，现在这两个参与方想要在不透露彼此的各自拥有的集合信息的前提下即P1不知晓Y的任何额外信息，P2也不知晓X的任何额外信息，求得X与Y的交集。尽管可以利用通用MP
GAN 摘要 我们提出了一个通过对抗过程估计生成模型的新框架，其中我们同时训练两个模型：一个捕获数据分布的生成模型 G，以及一个估计样本来自训练数据而不是而不是G生成的的概率的判别模型 D。G 的训练过程是最大化 D 出错的概率。这个框架对应于一个极小极大的两人游戏。在任意函数 G
论文信息 论文标题：Attributed Graph Clustering via Adaptive Graph Convolution论文作者：Xiaotong Zhang, Han Liu, Qimai Li, Xiao-Ming Wu论文来源：2019, IJCAI论文地址：download 论文代码：download 1 Introduction 关于GNN 是低通滤波器的好文。 2 Method 2.1 Graph Co
假设有两个向量 $\boldsymbol{a}$ 和 $\boldsymbol{b}$ ，则有: $\begin{aligned}\|\boldsymbol{a}-\boldsymbol{b}\|^{2} &=(\boldsymbol{a}-\boldsymbol{b})^{T}(\boldsymbol{a}-\boldsymbol{b}) \\&=\left(\boldsymbol{a}^{T}-\boldsymbol{b}^{T}\righ
聚类 clustering 形式化地说，假定样本集 \(D=\left\{\boldsymbol{x}_{1},\boldsymbol{x}_{2},\ldots,\boldsymbol{x}_{m}\right\}\) 包含 \(m\) 个无标记样本，每个样本 \(\boldsymbol{x}_{i}=\left(x_{i 1} ; x_{i 2} ; \ldots ; x_{i n}\right)\) 是一个 \(n\) 维特征向量，则聚类算
原始Viterbi算法 (1) 初始化 (初始状态向量乘以第一个观测 $ o_{1} $ ) : \[\begin{array} \delta_{1}(i)=\pi_{i} b_{i}\left(o_{1}\right), \quad i=1,2, \cdots, N \\ \psi_{1}(i)=0, \quad t=1,2, \ldots, N \end{array} \](2) 递推，对于 $ t=2,3, \ldots, T $ \[\delta_{t}(i)
矩阵带来了一种代数思维研究几何的方法。相比数学，矩阵更贴近物理。 让我们从定义出发吧。 向量定义为 \[\left[ \begin{matrix} a_1\\ a_2\\ \vdots\\ a_n \end{matrix} \right] \]\(\R^3\) 中我们常常规定基向量 \[\boldsymbol e_1= \left[ \begin{matrix} 1\\ 0\\ 0 \end{matrix
Written with StackEdit. 教材与参考书 多元统计分析 线性代数, 概率论, 数理统计 线性代数知识复习 MIT Gilbert Strang 教授的"经典"! and "网红"!线性代数课程: MIT 18.06: Linear Algebra. 课程主页: The course webpage is here. 样本数据矩阵/样本资料矩阵 在研究
作者：韩信子@ShowMeAI，路遥@ShowMeAI，奇异果@ShowMeAI 教程地址：http://www.showmeai.tech/tutorials/36 本文地址：http://www.showmeai.tech/article-detail/240 声明：版权所有，转载请联系平台与作者并注明出处 收藏ShowMeAI查看更多精彩内容 ShowMeAI为斯坦福CS224n《自然语言处理
4 Dynamic Graph Representation Learning Via Self-Attention Networks link：https://arxiv.org/abs/1812.09430 Abstract 提出了在动态图上使用自注意力 Conclusion 本文提出了使用自注意力的网络结构用于在动态图学习节点表示。具体地说，DySAT使用（1）结构邻居和（2）历史节点表示上的自
特征值和特征向量 reference的内容为唯一教程，接下来的内容仅为本人的课后感悟，对他人或无法起到任何指导作用。 Reference Course website: Eigenvalues and Eigenvectors | Unit II: Least Squares, Determinants and Eigenvalues | Linear Algebra | Mathematics | MIT OpenCo
矩阵对角化, 乘幂和一阶系统 reference的内容为唯一教程，接下来的内容仅为本人的课后感悟，对他人或无法起到任何指导作用。 Reference Course website: Diagonalization and Powers of A | Linear Algebra | Mathematics | MIT OpenCourseWare and Markov Matrices; Fourier Seri
设观测概率为 \(k\) 维高斯分布 \(\displaystyle p(\boldsymbol x\mid C_i)={1\over (2\pi)^{k\over 2}|\Sigma_i|^{1\over 2}}\exp[-{1\over 2}(\boldsymbol x-\boldsymbol \mu_i)^T\Sigma_i^{-1}(\boldsymbol x-\boldsymbol \mu_i)]\) 则代入 MAP 分类器得到，决策边界为：\(\d
简介 本章将主要介绍以下内容： 图的表示 图的性质 复杂图 图上的计算任务 图的表示 图的定义：一个图可以被表示为\(G = \{V, E\}\)，其中\(V = \{v_1, \dots, v_N\}\)是大小为\(N = |V|\)的节点集合，\(E = \{e_1, \dots, e_M\}\)是大小为\(M\)的边的集合。 注意：在没有特殊说明的情
文章目录 方阵的迹矩阵的分块求逆矩阵的正定与负定向量和矩阵的范数矩阵的微分运算矩阵函数对标量的导数标量函数对矩阵的导数矩阵函数对向量的导数几个常用的矩阵微分公式其它例子 矩阵的伪逆其它 大写字母表示矩阵（如 A
1.厄米特矩阵（Hermittan Matrix） 1.1 共轭转置 向量的共轭转置 矩阵的共轭转置 1.2 复向量的长度 实向量的长度 x T x
Paper Information Title：《Generative Adversarial Networks》Authors：Ian J. Goodfellow, Jean Pouget-Abadie, M. Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron C. Courville, Yoshua BengioSources：2014, NIPSOther：26700 Citations, 41 ReferencesCode：Dow
PyTorch学习笔记（六）：正向传播、反向传播、数值稳定性和模型参数 正向传播、反向传播和计算图正向传播正向传播的计算图反向传播训练深度学习模型小结 数值稳定性和模型初始化衰减和爆炸随机初始化模型参数PyTorch的默认随机初始化Xavier随机初始化 小结 参考 正向传播、反
PyTorch学习笔记（四）：多层感知机 多层感知机隐藏层激活函数sigmoid函数tanh函数 多层感知机小结 PyTorch从零开始实现多层感知机获取和读取数据定义模型参数定义激活函数定义模型定义损失函数训练模型小结 PyTorch模块实现多层感知机定义模型读取数据并训练模型小结 参考 多
