主成分分析法

在对灾毁土地复垦效益进行分析时，会碰到众多因素，各因素间又相互关联，将这些存在相关关系的因素通过数学方法综合成少数几个最终参评因素，使这几个新的因素既包含原来因素的信息又相互独立。简化问题并抓住其本质是分析过程中的关键，主成分分析法可以解决这个难题。

(一)主成分分析的基本原理

主成分分析法(Principal Components Analysis，PCA)是把原来多个变量化为少数几个综合指标的一种统计分析方法。从数学角度来看，这是一种降维处理方法，即通过对原始指标相关矩阵内部结果关系的研究，将原来指标重新组合成一组新的相互独立的指标，并从中选取几个综合指标来反映原始指标的信息。假定有n个评价单元，每个评价单元用m个因素来描述，这样就构成一个n×m阶数据矩阵：

灾害损毁土地复垦

如果记m个因素为 x1，x2，…，xm，它们的综合因素为 z1，z2，…，zp(p≤m)，则：

灾害损毁土地复垦

系数lij由下列原则来决定：

(1)zi与zj(i≠j，i，j＝1，2，…，p)相互无关；

(2)z1是x1，x2，…，xm的一切线性组合中方差最大者，依此类推。

依据该原则确定的综合变量指标z1，z2，…，zp分别称为原始指标的第1、第2、…、第p个主成分，分析时可只挑选前几个方差最大的主成分。

(二)主成分分析法的步骤

(1)将原始数据进行标准化处理，以消除原始数据在数量级或量纲上的差异。

(2)计算标准化的相关数据矩阵：

灾害损毁土地复垦

(3)用雅克比法求相关系数矩阵R的特征值(λ1，λ2，…，λp)和与之相对应的特征向量 αi＝(αi1，αi2，…，αip)，i＝1，2，…，p。

(4)选择重要的主成分，并写出其表达式。

主成分分析可以得到P个主成分，但是由于各个主成分的方差与其包含的信息量皆是递减的，所以在实际分析时，一般不选取P个主成分，而是根据各个主成分所累计的贡献率的大小来选取前K个主成分，这里的贡献率是指某个主成分的方差在全部方差中所占的比重，实际上也是某个特征值在全部特征值合计中所占的比重。即：

灾害损毁土地复垦

这说明，主成分所包含的原始变量的信息越强，贡献率也就越大。主成分的累计贡献率决定了主成分个数K的选取情况，为了保证综合变量能包括原始变量的绝大多数信息，一般要求累计贡献率达到85%以上。

另外，在实际应用过程中，选择主成分之后，还要注意主成分实际含义的解释。如何给主成分赋予新的含义，给出合理的解释是主成分分析中一个相当关键的问题。一般来说，这个解释需要根据主成分表达式的系数而定，并与定性分析来进行有效结合。主成分是原来变量的线性组合，在这个线性组合中各变量的系数有正有负、有大有小，有的又大小相当，因此不能简单地把这个主成分看作是某个原变量的属性作用。线性组合中各变量系数的绝对值越大表明该主成分主要包含了该变量；如果有几个大小相当的变量系数时，则认为这一主成分是这几个变量的综合，而这几个变量综合在一起具有什么样的实际意义，就需要结合具体的问题和专业，给出合理的解释，进而才能达到准确分析的目的。

(5)计算主成分得分。根据标准化的原始数据，将各个样品分别代入主成分表达式，就可以得到各主成分下的各个样品的新数据，即为主成分得分。具体形式可如下：

灾害损毁土地复垦

(6)依据主成分得分的数据，则可以进行进一步的统计分析。其中，常见的应用有主成分回归，变量子集合的选择，综合评价等。

(三)主成分分析法的评价

通过主成分分析法来评价复垦产生的效益，可将多个指标转化成尽可能少的综合性指标，使综合指标间互不相干，既减少了原指标信息的重叠度，又不丢失原指标信息的总含量。该方法不仅将多个指标转化成综合性指标，而且也能对每个主成分的影响因素进行分析，从而判别出影响整个评价体系的关键因素，并且主成分分析法在确定权重时可以科学地赋值，以避免主观因素的影响。

需要注意的是，主成分分析法虽然可以对每个主成分的权重进行科学、定量的计算，避免人为因素及主观因素的影响，但是有时候赋权的结果可能与客观实际有一定误差。因此，利用主成分分析法确定权重后，再结合不同专家给的权重，是最好的解决办法。这样可以在定量的基础上作出定性的分析，通过一定的数理方法将两种数据结合起来考虑。

一般都是需要通过每个主成分乘以各自权重值得到综合得分的,而不是直接把几个主成分相加,因为这样就默认几个主成分的权重都是一样的了我们通常以各个主成分的方差贡献率作为各自的权重值,也可以通过其他方法计算得到权重值

主成分分析（ Principal components analysis），简称PCA，是最主要的数据降维方法之一。本文从PCA的思想开始，一步一步推导PCA。

对于 , 。我们希望 从 维降到 维，同时希望信息损失最少。比如，从 维降到 ：

我们既可以降维到第一主成分轴，也可以降维到第二主成分轴。那么如何找到这这些主成分轴并且选择最优成分轴呢？

直观上，第一主成分轴 优于 第二主成分轴，即具有最大可分性。

下面解决一些基本概念。

欲获得原始数据新的表示空间，最简单的方法是对原始数据进行线性变换（基变换）：

其中 是原始样本， 是基向量， 是新表达。

数学表达：

其中 是行向量，表示第 个基， 是一个列向量，表示第 个原始数据记录

当 时即 基的维度 < 数据维度时，可达到降维的目的。即：

以直角坐标系下的点(3,2)为例，欲将点(3,2)变换为新基上的坐标，就是用(3,2)与第一个基做内积运算，作为第一个新的坐标分量，然后用(3,2)与第二个基做内积运算，作为第二个新坐标的分量。

可以稍微推广一下，如果我们有m个二维向量，只要将二维向量按列排成一个两行m列矩阵，然后用“基矩阵”乘以这个矩阵，就得到了所有这些向量在新基下的值。例如(1,1)，(2,2)，(3,3)，想变换到刚才那组基上，则可以这样表示：

回顾一下，我们的目的是希望在降维过程中损失最少，换言之，我们希望投影后的数据尽可能分散开。这种分散程度可以用方差来表达， 方差 越大，数据越分散。

随机变量 表达了 的取值与其数学期望之间的偏离程度。若 较小，意味着 的取值主要集中在期望 也就是 的附近，反之，若 较大，意味着 的取值比较分散。

为了避免过于抽象，我们以一个具体的例子展开。假设我们5个样本数据，分别是 ，将它们表示成矩阵形式：

为了后续处理方便，我们首先将每个字段内所有值都减去字段均值，其结果是将每个字段都变为均值为0

我们看上面的数据，设第一个特征为 ，第二个特征为 , 此时某一个样本可以写作：

且特征 的均值为2, 特征 的均值为3，所以变换后：

协方差 （Covariance）在 概率论 和 统计学 中用于衡量两个变量的总体 误差 。

比如对于二维随机变量 ，特征 除了自身的数学期望和方差，还需要讨论 之间互相关系的数学特征。

当 时，变量 完全独立，这也是我们希望达到的优化目标。

方差 是协方差的一种特殊情况，即当两个变量是相同的情况:

对于 二维 随机变量 ,

对于 n维 随机变量 ,

可见，协方差矩阵是 行 列的对称矩阵，主对角线上是方差，而协对角线上是协方差。

依然我们以一个具体的例子展开，还是这5个样本数据， , ，将它们去中心化后表示成矩阵形式：

那如果有 个样本的话，

对 做一些变换，用 乘以 的转置，并乘上系数1/m：

这不正是协方差矩阵嘛！

现在我们可以说：

回顾一下：

设 的协方差矩阵为 ， 的协方差矩阵为 ，且 。

我们要找的 不是别的，而是能让原始协方差矩阵对角化的 。

现在所有焦点都聚焦在了 协方差矩阵对角化 问题上。

由上文知道，协方差矩阵 是一个是对称矩阵，在线性代数上，实对称矩阵有一系列非常好的性质：

1）实对称矩阵不同特征值对应的特征向量必然正交。

2）设特征向量 重数为 ，则必然存在 个线性无关的特征向量对应于 ，因此可以将这 个特征向量单位正交化。

由上面两条可知，一个 行 列的实对称矩阵一定可以找到 个单位正交特征向量，设这 个特征向量为 ，我们将其按列组成矩阵：

则对协方差矩阵 有如下结论：

其中 为对角矩阵，其对角元素为各特征向量对应的特征值（可能有重复）。

结合上面的公式：

其中， 为对角矩阵，我们可以得到：

是协方差矩阵 的特征向量单位化后按行排列出的矩阵，其中每一行都是 的一个特征向量。如果设 按照 中特征值的从大到小，将特征向量从上到下排列，则用 的前 行组成的矩阵乘以原始数据矩阵 ，就得到了我们需要的降维后的数据矩阵 。

总结一下PCA的算法步骤：

设有 条 维数据。

1）将原始数据按列组成 行 列矩阵X

2）将 的每一行（代表一个特征）进行零均值化，即减去这一行的均值

3）求出协方差矩阵

4）求出协方差矩阵 的特征值及对应的特征向量

5）将特征向量按对应特征值大小从上到下按行排列成矩阵，取前 行组成矩阵

6） 即为降维到 维后的数据

这里以上文提到的：

，将它们表示成矩阵形式：

我们用PCA方法将这组二维数据其降到一维。

为了后续处理方便，我们首先将每个特征内所有值都减去字段均值，其结果是将每个字段都变为均值为0

因为这个矩阵的每行已经是零均值，这里我们直接求协方差矩阵：

对于矩阵 :

和 分别是特征值和特征向量，

，则：

为了使这个方程式有非零解，矩阵 的行列式必须是 0 ：

即：

则：

分解得：

找到2个特征值， , ,

when :

即：

则：

和 可以取任意值，我们取归一化的 和 ，即： ,

此时 和

when :

即：

则：

和 可以取任意值，我们取归一化的 和 ，即：

此时 和

所以：

可以验证协方差矩阵C的对角化：

最后我们用 的第一行乘以数据矩阵，就得到了降维后的表示：

降维投影结果如下图：