主成分分析详解

　　一、主成分分析

　　1、简介

　　在用统计分析方法研究这个多变量的课题时，变量个数太多就会增加课题的复杂性。人们自然希望变量个数较少而得到的信息较多。在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠。主成分分析是对于原先提出的所有变量，建立尽可能少的新变量，使得这些新变量是两两不相关的，而且这些新变量在反映课题的信息方面尽可能保持原有的信息。

　　2、原理

　　设法将原来变量重新组合成一组新的互相无关的几个综合变量，同时根据实际需要从中可以取出几个较少的综合变量尽可能多地反映原来变量的信息的统计方法叫做主成分分析或称主分量分析，也是数学上处理降维的一种方法。

　　二、主成分分析的基本思想及步骤

　　1、基本思想

　　主成分分析是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。通常数学上的处理就是将原来P个指标作线性组合，作为新的综合指标。最经典的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Var(F1)越大，表示F1包含的信息越多。因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现在F2中，用数学语言表达就是要求Cov(F1, F2)=0，则称F2为第二主成分，依此类推可以构造出第三、第四，……，第P个主成分。

　　2、步骤

　　Fp=a1iZX1+a2iZX2+……+apiZXp　其中a1i, a2i, ……,api(i=1,……,m)为X的协方差阵Σ的特征值所对应的特征向量，ZX1, ZX2, ……, ZXp是原始变量经过标准化处理的值，因为在实际应用中，往往存在指标的量纲不同，所以在计算之前须先消除量纲的影响，而将原始数据标准化，本文所采用的数据就存在量纲影响[注：本文指的数据标准化是指Z标准化]。　A=(aij)p×m=(a1,a2,…am,)，Rai=λiai，R为相关系数矩阵，λi、ai是相应的特征值和单位特征向量,λ1≥λ2≥…≥λp≥0 。　进行主成分分析主要步骤如下：　1 指标数据标准化（SPSS软件自动执行）；　2 指标之间的相关性判定；　3 确定主成分个数m；　4 主成分Fi表达式；　5 主成分Fi命名；

1、主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。

2、在实际课题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题的某些信息。

3、主成分分析首先是由K皮尔森（Karl Pearson）对非随机变量引入的，尔后H霍特林将此方法推广到随机向量的情形。信息的大小通常用离差平方和或方差来衡量。

因子分析

1输入数据。

2点Analyze 下拉菜单，选Data Reduction 下的Factor 。

3打开Factor Analysis后,将数据变量逐个选中进入Variables 对话框中。

4单击主对话框中的Descriptive按扭，打开Factor Analysis: Descriptives子对话框，在Statistics栏中选择Univariate Descriptives项要求输出个变量的均值与标准差，在Correlation Matrix 栏内选择Coefficients项，要求计算相关系数矩阵，单击Continue按钮返回Factor Analysis主对话框。

5单击主对话框中的Extraction 按钮，打开如下图所示的Factor Analysis: Extraction 子对话框。在Method列表中选择默认因子抽取方法——Principal Components，在Analyze 栏中选择默认的Correlation Matrix 项要求从相关系数矩阵出发求解主成分，在Exact 栏中选择Number of Factors;6， 要求显示所有主成分的得分和所能解释的方差。单击Continue按钮返回Factor Analysis主对话框。

6单击主对话框中的OK 按钮，输出结果。

多元线性回归

1打开数据，依次点击：analyse--regression，打开多元线性回归对话框。

2将因变量和自变量放入格子的列表里，上面的是因变量，下面的是自变量。

3设置回归方法，这里选择最简单的方法：enter，它指的是将所有的变量一次纳入到方程。其他方法都是逐步进入的方法。

4等级资料，连续资料不需要设置虚拟变量。多分类变量需要设置虚拟变量。

虚拟变量ABCD四类，以a为参考，那么解释就是b相对于a有无影响，c相对于a有无影响，d相对于a有无影响。

5选项里面至少选择95%CI。

点击ok。

统计专业研究生工作室原创，请勿复杂粘贴

1输入数据。

2点Analyze 下拉菜单，选Data Reduction 下的Factor 。

3打开Factor Analysis后,将数据变量逐个选中进入Variables 对话框中。

4单击主对话框中的Descriptive按扭，打开Factor Analysis: Descriptives子对话框，在Statistics栏中选择Univariate Descriptives项要求输出个变量的均值与标准差，在Correlation Matrix 栏内选择Coefficients项，要求计算相关系数矩阵，单击Continue按钮返回Factor Analysis主对话框。

5单击主对话框中的Extraction 按钮，打开如下图所示的Factor Analysis: Extraction 子对话框。在Method列表中选择默认因子抽取方法——Principal Components，在Analyze 栏中选择默认的Correlation Matrix 项要求从相关系数矩阵出发求解主成分，在Exact 栏中选择Number of Factors;6， 要求显示所有主成分的得分和所能解释的方差。单击Continue按钮返回Factor Analysis主对话框。

6单击主对话框中的OK 按钮，输出结果。

主成分分析（ Principal components analysis），简称PCA，是最主要的数据降维方法之一。本文从PCA的思想开始，一步一步推导PCA。

对于 , 。我们希望 从 维降到 维，同时希望信息损失最少。比如，从 维降到 ：

我们既可以降维到第一主成分轴，也可以降维到第二主成分轴。那么如何找到这这些主成分轴并且选择最优成分轴呢？

直观上，第一主成分轴 优于 第二主成分轴，即具有最大可分性。

下面解决一些基本概念。

欲获得原始数据新的表示空间，最简单的方法是对原始数据进行线性变换（基变换）：

其中 是原始样本， 是基向量， 是新表达。

数学表达：

其中 是行向量，表示第 个基， 是一个列向量，表示第 个原始数据记录

当 时即 基的维度 < 数据维度时，可达到降维的目的。即：

以直角坐标系下的点(3,2)为例，欲将点(3,2)变换为新基上的坐标，就是用(3,2)与第一个基做内积运算，作为第一个新的坐标分量，然后用(3,2)与第二个基做内积运算，作为第二个新坐标的分量。

可以稍微推广一下，如果我们有m个二维向量，只要将二维向量按列排成一个两行m列矩阵，然后用“基矩阵”乘以这个矩阵，就得到了所有这些向量在新基下的值。例如(1,1)，(2,2)，(3,3)，想变换到刚才那组基上，则可以这样表示：

回顾一下，我们的目的是希望在降维过程中损失最少，换言之，我们希望投影后的数据尽可能分散开。这种分散程度可以用方差来表达， 方差 越大，数据越分散。

随机变量 表达了 的取值与其数学期望之间的偏离程度。若 较小，意味着 的取值主要集中在期望 也就是 的附近，反之，若 较大，意味着 的取值比较分散。

为了避免过于抽象，我们以一个具体的例子展开。假设我们5个样本数据，分别是 ，将它们表示成矩阵形式：

为了后续处理方便，我们首先将每个字段内所有值都减去字段均值，其结果是将每个字段都变为均值为0

我们看上面的数据，设第一个特征为 ，第二个特征为 , 此时某一个样本可以写作：

且特征 的均值为2, 特征 的均值为3，所以变换后：

协方差 （Covariance）在 概率论 和 统计学 中用于衡量两个变量的总体 误差 。

比如对于二维随机变量 ，特征 除了自身的数学期望和方差，还需要讨论 之间互相关系的数学特征。

当 时，变量 完全独立，这也是我们希望达到的优化目标。

方差 是协方差的一种特殊情况，即当两个变量是相同的情况:

对于 二维 随机变量 ,

对于 n维 随机变量 ,

可见，协方差矩阵是 行 列的对称矩阵，主对角线上是方差，而协对角线上是协方差。

依然我们以一个具体的例子展开，还是这5个样本数据， , ，将它们去中心化后表示成矩阵形式：

那如果有 个样本的话，

对 做一些变换，用 乘以 的转置，并乘上系数1/m：

这不正是协方差矩阵嘛！

现在我们可以说：

回顾一下：

设 的协方差矩阵为 ， 的协方差矩阵为 ，且 。

我们要找的 不是别的，而是能让原始协方差矩阵对角化的 。

现在所有焦点都聚焦在了 协方差矩阵对角化 问题上。

由上文知道，协方差矩阵 是一个是对称矩阵，在线性代数上，实对称矩阵有一系列非常好的性质：

1）实对称矩阵不同特征值对应的特征向量必然正交。

2）设特征向量 重数为 ，则必然存在 个线性无关的特征向量对应于 ，因此可以将这 个特征向量单位正交化。

由上面两条可知，一个 行 列的实对称矩阵一定可以找到 个单位正交特征向量，设这 个特征向量为 ，我们将其按列组成矩阵：

则对协方差矩阵 有如下结论：

其中 为对角矩阵，其对角元素为各特征向量对应的特征值（可能有重复）。

结合上面的公式：

其中， 为对角矩阵，我们可以得到：

是协方差矩阵 的特征向量单位化后按行排列出的矩阵，其中每一行都是 的一个特征向量。如果设 按照 中特征值的从大到小，将特征向量从上到下排列，则用 的前 行组成的矩阵乘以原始数据矩阵 ，就得到了我们需要的降维后的数据矩阵 。

总结一下PCA的算法步骤：

设有 条 维数据。

1）将原始数据按列组成 行 列矩阵X

2）将 的每一行（代表一个特征）进行零均值化，即减去这一行的均值

3）求出协方差矩阵

4）求出协方差矩阵 的特征值及对应的特征向量

5）将特征向量按对应特征值大小从上到下按行排列成矩阵，取前 行组成矩阵

6） 即为降维到 维后的数据

这里以上文提到的：

，将它们表示成矩阵形式：

我们用PCA方法将这组二维数据其降到一维。

为了后续处理方便，我们首先将每个特征内所有值都减去字段均值，其结果是将每个字段都变为均值为0

因为这个矩阵的每行已经是零均值，这里我们直接求协方差矩阵：

对于矩阵 :

和 分别是特征值和特征向量，

，则：

为了使这个方程式有非零解，矩阵 的行列式必须是 0 ：

即：

则：

分解得：

找到2个特征值， , ,

when :

即：

则：

和 可以取任意值，我们取归一化的 和 ，即： ,

此时 和

when :

即：

则：

和 可以取任意值，我们取归一化的 和 ，即：

此时 和

所以：

可以验证协方差矩阵C的对角化：

最后我们用 的第一行乘以数据矩阵，就得到了降维后的表示：

降维投影结果如下图：

　　首先、在spss中准备好要处理的数据，然后在菜单栏上执行：analyse--dimension reduction--factor analyse。打开因素分析对话框

　　接着、看到下图就是因素分析的对话框，将要分析的变量都放入variables窗口中

　　点击descriptives按钮，进入次级对话框，这个对话框可以输出我们想要看到的描述统计量　

　　因为做主成分分析需要我们看一下各个变量之间的相关，对变量间的关系有一个了解，所以需要输出相关，勾选coefficience，点击continue，返回主对话框

　　回到主对话框，点击ok，开始输出数据处理结果

　　你看到的这第一个表格就是相关矩阵，现实的是各个变量之间的相关系数，通过相关系数，你可以看到各个变量之间的相关，进而了解各个变量之间的关系

　　第二个表格显示的主成分分析的过程，我们看到eigenvalues下面的total栏，他的意思就是特征根，他的意义是主成分影响力度的指标，一般以1为标准，如果特征根小于1，说明这个主因素的影响力度还不如一个基本的变量。所以我们只提取特征根大于1的主成分。如图所示，前三个主成分就是大于1的，所以我们只能说有三个主成分。另外，我们看到第一个主成分方差占所有主成分方差的469%，第二个占275%，第三个占150%。这三个累计达到了895%。