标签：begin right end matrix 简介 模型 因子 Psi left
1 总体的\(k\)-因子模型
1.1 模型设定
\(x\sim(\mu,\Sigma)\)，\(\text{rank}(\Sigma)=r\)，固定\(k\lt r\)，则\(k\)因子模型的设定为
\[x=Af+\mu+\epsilon \]其中\(f\)为\(k\)维随机向量，称为共同因子（common factor），\(A\)为\(d\times k\)的线性变换，称为因子载荷（factor loading）。
一般会做出这些假设：\(f\sim(0,I_k)\)，\(\epsilon\sim(0,\Psi)\)（其中\(\Psi\)为对角矩阵），\(\text{Cov}(f,\epsilon)=0_{k\times d}\)。
有的文献中会假设\(\text{Var}(f)=\Phi\)，\(\Phi\)为对角矩阵，在这里我们假设它是球形的。在我们的假设下，我们有
\[\Sigma=AA'+\Psi \]我们可以看\(\Sigma\)和\(AA'\)的各元素的接近程度，定义\(AA'\)的对角线元素\(\tau_{jj}=\sum_{l=1}^{k} a_{jl} a_{jl}\)为第\(j\)个communality（共同性），它满足\(\sigma^2_j=\sigma_{jj}=\tau_{jj}+\psi_j\)，而对于\(\Sigma\)的非对角线元素有\(\sigma_{jm}=\tau_{jm}\)。
如果用一个正交\(k\times k\)矩阵\(E\)，做\(\tilde A=AE\)，\(\tilde f=E'f\)，那么我们依然有
\[x=\tilde A\tilde f+\mu+\epsilon \]它也是\(x\)的一个\(k\)-因子模型，也同样满足上文的那些假设，这说明因子模型不是唯一的。并且，如果没有额外的信息，我们想只利用\(\Sigma\)就求解出因子和载荷是不可能的，下面的例子就说明了这个问题。
1.2 案例
假设有\(2\)维随机向量\(x\)，\(\Sigma=\left[\begin{matrix}1.25 &0.5\\0.5&0.5\end{matrix}\right]\)，假设单因子模型为
\[x = \left[\begin{matrix}a_1\\a_2\end{matrix}\right] f+ \left[\begin{matrix}\epsilon_1\\\epsilon_2\end{matrix}\right] \]这里\(f\)为标量。
根据上文的推导，我们可以得出一些结论。如\(AA'\)的非对角线元素就是\(\Sigma\)的非对角线元素，即\(a_1 a_2=0.5\)，而\(AA'\)的对角线元素必定小于\(\Sigma\)的对角线元素，即\(a_1^2\lt \sigma_{11}=1.25\)，\(a_2^2\lt \sigma_{22}=0.5\)。
但是，我们无法得出具体的\(A\)，比如我们可以取\(\left[\begin{matrix}a_1\\a_2\end{matrix}\right]=\left[\begin{matrix}1\\0.5\end{matrix}\right]\)，也可以取\(\left[\begin{matrix}a^*_1\\a^*_2\end{matrix}\right]=\left[\begin{matrix}3/4 \\2/3\end{matrix}\right]\)，这些\(A\)都是可行的。也就是说，在没有额外信息或使用某些准则时，我们无法只利用\(\Sigma\)解出\(A\)。
2 一些选择\(A\)的准则
在\(1.2\)中，我们给出了一个案例，说明想要选择\(A\)的解，必须要借助一些准则。这里介绍两种准则。
2.1 最小化\(\Psi\)准则
我们可以选择使\(\Psi\)更小的\(A\)。由于\(\Psi\)是对角矩阵，可以直接用它的迹来表示大小。
\(\text{tr}(\Psi)=0.25+0.25=0.5\)，\(\text{tr}(\Psi^*)=\dfrac{11}{16}-\dfrac{1}{18}=0.7431\)，因此，可以选择\(\left[\begin{matrix}a_1\\a_2\end{matrix}\right]=\left[\begin{matrix}1\\0.5\end{matrix}\right]\)。
2.2 Varimax准则
Kaiser（1958）提出了另一个准则varimax criterion：记\(a_{jl}\)为\(d\times k\)矩阵\(A\)的第\(j\)行、\(l\)列元素，他们定义
\[VC(A) = \sum_{l=1}^{k}\left[\dfrac{1}{d}\sum_{j=1}^{d} a_{jl}^4-\left(\dfrac{1}{d}\sum_{j=1}^{d}a_{jl}^2\right)^2\right] \]式子看起来很复杂，但我们可以理解成，先将\(A\)的所有元素做平方，然后计算某一列上的元素的方差，最后再对所有列加总。
对\(1.2\)的案例进行计算，可以得到\(VC(A)=0.1406\)，\(VC(A^*)=0.0035\)，如果我们需要VC越大越好的载荷矩阵，就选择\(\left[\begin{matrix}a_1\\a_2\end{matrix}\right]=\left[\begin{matrix}1\\0.5\end{matrix}\right]\)。尽管在这里两种方法选出的矩阵是一样的，但它们不等价。
Varimax criterion的另一个用途是，寻找旋转后的载荷\(AE\)，即它要寻找一个正交矩阵\(E\)，使得
\[\tilde E=\arg\max VC(AE) \]3 样本的\(k\)-因子模型
将\(n\)个样本排成\(d\times n\)的矩阵\(X=(x_1,\ldots,x_n)\)，并将对应的每个\(f\)排成\(k\times n\)矩阵\(F=(f_1,\ldots,f_n)\)，将对应的每个\(\epsilon\)排成\(d\times n\)矩阵\(\mathfrak{N}=(\epsilon_1,\ldots,\epsilon_n)\)，我们可以得到
\[X=AF+\bar x\ell_n' +\mathfrak{N} \]还是和总体情况下一样，这些变量满足\(F\sim(0,I_k)\)，\(\mathfrak{N}\sim(0,\Psi)\)，这里\(\Psi\)为对角矩阵，\(\text{Cov}(F,\mathfrak{N})=0_{k\times d}\)。样本的协方差矩阵可写为
\[S=\text{Var}(X)=\text{Var}(AF)+\text{Var}(\mathfrak{N})=AA'+\Psi \]参考文献
- Kaiser, H. F. (1958). The varimax criterion for analytic rotation in factor analysis. Psychometrika 23, 187–200.
标签：begin,right,end,matrix,简介,模型,因子,Psi,left 来源： https://www.cnblogs.com/analysis101/p/14782779.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。