主成分分析法介绍

1、主成分分析（PrincipalComponentAnalysis，PCA），是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。

2、在实际课题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题的某些信息。

3、主成分分析首先是由K皮尔森（KarlPearson）对非随机变量引入的，尔后H霍特林将此方法推广到随机向量的情形。信息的大小通常用离差平方和或方差来衡量。

结果分析

（1）KMO与巴特利特球形检验

由表可以知，巴特利特球形检验的统计量值为3960473，相应的概率P值为0。在显著性水平下，应拒绝原假设，认为相关系数矩阵与单位矩阵存在显著差异。同时KMO值为0844，根据Kaiser给出的度量KMO的标椎可知问卷题项适合做因子分析。

（2）公因子方差

提取值表示每个变量被公因子表达的多少，一般认为，大于07就说明变量被公因子很好地表达。由表可以看出，绝大多数变量的提取值大于085，变量能被公因子很好地表达。

（3）解释总方差

提取方法：主成分分析法

（4）旋转成分矩阵

提取方法：主成分分析法

（5）计算因子得分:因子分析是基于研究各题项之间的内部依赖关系，将一些信息重叠、相关性高的变量指标归结为几个不相关的综合因子的多重统计方法。通过SPSS230得出的成分得分系数矩阵，见表，可得到、、、、公因子的得分表达式为：

其中、、、、公因子分别代表基础技能，创新能力，资源运用，合作精神，创新思维。

PCA(PrincipalComponentAnalysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。

PCA的工作就是从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的，

第三个轴是与第1,2个轴正交的平面中方差最大的。依次类推，可以得到n个这样的坐标轴。通过这种方式获得的新的坐标轴，我们发现，大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，我们可以忽略余下的坐标轴，只保留前面k个含有绝大部分方差的坐标轴。事实上，这相当于只保留包含绝大部分方差的维度特征，而忽略包含方差几乎为0的特征维度，实现对数据特征的降维处理。

只保留前面k个含有绝大部分方差的坐标轴。事实上，这相当于只保留包含绝大部分方差的维度特征，而忽略包含方差几乎为0的特征维度，实现对数据特征的降维处理。

思考：我们如何得到这些包含最大差异性的主成分方向呢？

答案：事实上，通过计算数据矩阵的协方差矩阵，然后得到协方差矩阵的特征值特征向量，选择特征值最大(即方差最大)的k个特征所对应的特征向量组成的矩阵。这样就可以将数据矩阵转换到新的空间当中，实现数据特征的降维。

由于得到协方差矩阵的特征值特征向量有两种方法：特征值分解协方差矩阵、奇异值分解协方差矩阵，所以PCA算法有两种实现方法：基于特征值分解协方差矩阵实现PCA算法、基于SVD分解协方差矩阵实现PCA算法。

既然提到协方差矩阵，那么就简单介绍一下方差和协方差的关系。然后概括介绍一下特征值分解矩阵原理、

奇异值分解矩阵的原理。概括介绍是因为在我之前的《机器学习中SVD总结》文章中已经详细介绍了特征值分解原理和奇异值分解原理，这里就不再重复讲解了。可以看我的

《机器学习中SVD总结》文章。地址：机器学习中SVD总结