主成分分析法介绍

1、主成分分析（PrincipalComponentAnalysis，PCA），是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。

2、在实际课题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题的某些信息。

3、主成分分析首先是由K皮尔森（KarlPearson）对非随机变量引入的，尔后H霍特林将此方法推广到随机向量的情形。信息的大小通常用离差平方和或方差来衡量。

所谓主成分一般指构成物质的主要成分，或者是构成物质的全成分，一般被称为全分析或者简分析，全分析可准确测定物质的系统构成，最后结果可以某种形式，如氧化物或元素加合总量为100%或趋于。而简分析可知主要构成。合金一般元素表示含量，而矿物一般以氧化物形态表示含量。至于分析操作，对于未知成分可先作光谱半定量，了解成分基本信息，而后制作分析方法，化学分析还是仪器分析，分别测定还是一次测定。并且采用不同的制样方法，如酸溶系统还是碱溶，或者粉样，等等。了解更多可参见相关书籍。

在多点地质统计学中,数据样板构成了一个空间结构,不同方向节点就是一个变量。一个数据事件就是由众多变量值构成的整体。在进行数据事件相似性计算与比较时,需要逐点计算其差异;在进行聚类时亦要对所有数据事件进行比较,导致计算效率非常低下。因此很有必要挖掘数据事件内部结构,将其变量进行组合,求取特征值,并用少量特征值完成数据事件的聚类,有效提高储层建模效率。因此,PCA主成分分析被引入到多点地质统计学中。

主成分分析(Pirncipal Component Analysis,PCA)是一种掌握事物主要矛盾的统计分析方法,它可以从多元事物中解析出主要影响因素,揭示事物的本质,简化复杂的问题。PCA的目标是寻找r(r<n)个新变量,使它们反映事物的主要特征,压缩原有数据矩阵的规模。每个新变量是原有变量的线性组合,体现原有变量的综合效果,具有一定的实际含义。这r个新变量称为“主成分”,它们可以在很大程度上反映原来n个变量的影响,并且这些新变量是互不相关的,也是正交的。通过主成分分析,压缩数据空间,将多元数据的特征在低维空间里直观地表示出来。

假设x=[x1,x2,…,xp]′是一个p维的随机向量,它遵从正态分布x~N(u,σ2)。导出主成分的问题就是寻找x的线性函数a′x,并使a′x的相应的方差最大。

多点地质统计学原理、方法及应用

因此,在代数上就是寻找一个正交矩阵a,使a′a=1,并使方差:

多点地质统计学原理、方法及应用

设矩阵A的特征值为λ1≥λ2≥…≥λp≥0对应λi的特征向量记为ui,令Up×p=

多点地质统计学原理、方法及应用

则U是正交矩阵,即UU′=I,由于A是实对称矩阵,所以有

多点地质统计学原理、方法及应用

故

多点地质统计学原理、方法及应用

当a=u1时，

多点地质统计学原理、方法及应用

因此,当a=u1时,就满足了方差最大的要求,等于相应的特征值λ1。

同理,可推广到一般:

多点地质统计学原理、方法及应用

并且协方差为

多点地质统计学原理、方法及应用

这就是说,综合变量的系数aj是协方差矩阵A的特征值λj对应的特征向量ju,综合变量Fj的重要性等同于特征值λj,这样,就可以用少数几个变量来描述综合变量的性质。

(1)首先将数据标准化，这是考虑到不同数据间的量纲不一致，因而必须要无量纲化。

(2)对标准化后的数据进行因子分析(主成分方法)，使用方差最大化旋转。

(3)写出主因子得分和每个主因子的方程贡献率。 Fj =β1jX1 +β2jX2 +β3jX3 + ……+ βnjXn ; Fj 为主成分(j=1、2、……、m)，X1、X2 、X3 、……、Xn 为各个指标，β1j、β2j、β3j、……、βnj为各指标在主成分Fj 中的系数得分，用ej表示Fj的方程贡献率。

(4)求出指标权重。 ωi=[(m∑j)βijej]/[(n∑i)(m∑j)βijej]，ωi就是指标Xi的权重。

扩展资料

产品特点

1、操作简便

界面非常友好，除了数据录入及部分命令程序等少数输入工作需要键盘键入外，大多数操作可通过鼠标拖曳、点击“菜单”、“按钮”和“对话框”来完成。

2、编程方便

具有第四代语言的特点，告诉系统要做什么，无需告诉怎样做。只要了解统计分析的原理，无需通晓统计方法的各种算法，即可得到需要的统计分析结果。

对于常见的统计方法，SPSS的命令语句、子命令及选择项的选择绝大部分由“对话框”的操作完成。因此，用户无需花大量时间记忆大量的命令、过程、选择项。

3、功能强大

具有完整的数据输入、编辑、统计分析、报表、图形制作等功能。自带11种类型136个函数。SPSS提供了从简单的统计描述到复杂的多因素统计分析方法，比如数据的探索性分析、统计描述、列联表分析、二维相关、秩相关、偏相关、方差分析、非参数检验、多元回归、生存分析、协方差分析、判别分析、因子分析、聚类分析、非线性回归、Logistic回归等。

-spss

主成分分析法： 英文全名 Principal Component Analysis 简称 PCA ，由名字就可以看出来，这是一个挑重点分析的方法。主成分分析 法是通过 恰当 的数学变换 ，使新变量—— 主成分成为原变量 的线性 组合 ，并选 取少数 几个在变差总信息量中 比例较 大的主成分来分析 事物 的一种方法 。 主成分在变差信息量中的比例越大 ， 它在综合评价 中的作用就越大。

思想： 整体思想就是化繁为简，抓住问题关键，也就是降维思想。当然，既然是抓住关键，那么自然就是以牺牲精度为代价。

解决问题： 因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。 在用统计方法研究多变量问题时，变量太多会增加计算量和分析问题的复杂性。

人们希望在进行定量分析过程中，涉及的变量较少，得到的信息量较多。为了尽可能的减少冗余和噪音，一般情况可以从相关变量中选择一个，或者把几个相关变量综合为一个变量作为代表，用少数变量来代表所有变量。

原理： 因为评估所涉及的众多变量之间既然有一定的相关性，就必然存在着起支配作用的因素。根据这一点，通过对原始变量和相关矩阵的内部结构的关系研究 ，找出影响目标变量某一要素的几个综合指标，使综合指标为原来变量的线性拟合。 这样，综合指标不仅保留了原始变量的主要信息，且彼此间不相关，又比原始变量具有某些更优越的性质，使得我们在研究复杂目标变量评估问题时，容易抓住主要矛盾。

形象理解

比如，某学籍数据，有两列 M 和 F ，其中M 列的取值是如果学生为男性，则取值为 1 如果为女性，则取值为 0 。F 列，如果为男性则取值为 0 否则取值为一。 由这两种关系可以知道，这两列数据是强相关的。只要保留一列，就能够完全还原另外一列。  当然，不要局限于数据删除，还有数据转换，删除可以理解为在此方法中的一种方式。

当然，上述情况在真实数据中是不可能出现的。这里只是借此介绍一下这种思维。真实情况中， 我们需要考虑删除哪一列信息可以使得损失最小？或者是通过变换数据就能使得损失信息更小？又如何度量信息的丢失量？原始数据的处理降维有哪些步骤？

坐标示例：

我们来看下面这张图，这是一个椭圆的点阵。椭圆上面有一个长轴和一个短轴。现在我们要表示点阵的主要变化趋势，就可以以长短轴（或者平行于长短轴）构建新的坐标系。在极端的情况下，短轴变成了一个点，那么长轴就能代表这个点阵的趋势和特点。这样，一个二维数据，就变成了一维。

基础知识储备

内积与投影：

内积运算，将两个向量映射为一个实数。其几何意义就是 向量 A ，在向量 B 的投影长度。（下图是以二维向量为例，多维空间依然是如此。）

上式中，B 为单位向基 ：

同样以上图 B为例，B向量为（3，2）其表示的其实为在 X 轴的投影值为3 ，在Y轴的投影值 为 2 。这其实加入了一个隐含信息，就是本坐标轴 分别是以 X Y轴为方向的单位向量。这里的 X Y 轴其实就是我们所提到的 基。只不过一般默认为 （1，0）和（0，1）

所以呢，要描述一组向量，首先是要确定一组基。然后求这个向量在这组基中的投影即可。对基的要求是线性无关，并不一定非要正交。但是因为正交基有较好的性质，所以一般情况我们都是用正交基。

基变换

上面我们了解了基的原理。如果同样把（3，2）放到新基里面描述，那就是把向量和新基相乘即可。

如果是在描述中，有多个基呢？那就是与基阵相乘。

如何实现降维

上面的思路，我们都清楚了。那么我们如何通过基变换来降维呢？这里我们来举个例子。假设我们有一个矩阵如下。

为了处理方面，我们现在把每个字段都减去字段平均值，那么就变成了如下所示

表示在坐标上如下图

那么，我们现在想用一维坐标来表示，而且要求尽可能的保留原来的信息，我们需要如何选择方向（基）呢？（二维降一维）

思路就是，希望投影后的值尽可能的分散，避免重合。

协方差：

在概率论与统计学中，协方差用于衡量两个随机变量的联合变化程度。而方差则是协方差的一种特殊情况，即变量与自身的协方差。

期望：在概率论和统计学中，一个离散性随机变量的期望值（或数学期望，亦简称期望，物理学中称为期待值）是试验中每次可能的结果乘以其结果概率的总和。比如骰子的期望值为 1 1/6 +21/6 + …+ 61/6 = 35

协方差公式为：

其中，E(X) = u E(Y) = v

协方差表示的是两个变量的总体的误差 ，这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。如果X 与Y 是统计独立的，那么二者之间的协方差就是0

流程和步骤

第一步：标准化

把输入数据集变量的范围标准化，以使它们中的每一个均可以大致成比例的分析。简单说，就是要把存在较大差异的数据转变为可比较的数据。比如把 0-100 的变量转化为 0-1 的变量。这一步一般可以通过减去平均值，再除以每个变量值的标准差来完成。标准差公式如下

那么常用的标准化指标变量公式可为

第二步：协方差矩阵计算

这一步的目的是：了解输入数据集的变量是如何相对于平均值变化的。或者换句话说，是为了查看它们之间是否存在任何关系。因为有时候，变量间高度相关是因为它们包含大量的信息。因此，为了识别这些相关性，我们进行协方差矩阵计算。

协方差矩阵是p×p对称矩阵（其中p是维数），其所有可能的初始变量与相关联的协方差作为条目。

好了，现在我们知道协方差矩阵只不过是一个表，汇总了所有可能配对的变量间相关性。下面就是计算协方差矩阵的特征向量和特征值，以筛选主要成分。

第三步：计算协方差矩阵的特征向量和特征值，用以识别主成分

特征向量和特征值都是线性代数概念，需要从协方差矩阵计算得出，以便确定数据的主成分。开始解释这些概念之前，让我们首先理解主成分的含义

主成分是由初始变量的线性组合或混合构成的新变量。该组合中新变量（如主成分）之间彼此不相关，且大部分初始变量都被压缩进首个成分中。所以，10维数据会显示10个主成分，但是PCA试图在第一个成分中得到尽可能多的信息，然后在第二个成分中得到尽可能多的剩余信息，以此类推。

例如，假设你有一个10维数据，你最终将得到的内容如下面的屏幕图所示，其中第一个主成分包含原始数据集的大部分信息，而最后一个主成分只包含其中的很少部分。因此，以这种方式组织信息，可以在不丢失太多信息的情况下减少维度，而这需要丢弃携带较少信息的成分。

在这里，方差和信息间的关系是，线所承载的方差越大，数据点沿着它的分散也越大，沿着线的散点越多，它所携带的信息也越多。简单地说，只要把主成分看作是提供最佳角度来观察和评估数据的新轴，这样观测结果之间的差异就会更明显。

协方差矩阵的特征向量实际上是方差最多的轴的方向（或最多的信息），我们称之为主成分。通过特征值的顺序对特征向量进行排序，从最高到最低，你就得到了按重要性排序的主成分。

第四步：特征向量

正如我们在上一步中所看到的，计算特征向量并按其特征值依降序排列，使我们能够按重要性顺序找到主成分。在这个步骤中我们要做的，是选择保留所有成分还是丢弃那些重要性较低的成分（低特征值），并与其他成分形成一个向量矩阵，我们称之为特征向量。

因此，特征向量只是一个矩阵，其中包含我们决定保留的成分的特征向量作为列。这是降维的第一步，因为如果我们选择只保留n个特征向量（分量）中的p个，则最终数据集将只有p维。

第五步：沿主成分轴重新绘制数据

在前面的步骤中，除了标准化之外，你不需要更改任何数据，只需选择主成分，形成特征向量，但输入数据集时要始终与原始轴统一（即初始变量）。

这一步，也是最后一步，目标是使用协方差矩阵的特征向量去形成新特征向量，将数据从原始轴重新定位到由主成分轴中（因此称为主成分分析）。这可以通过将原始数据集的转置乘以特征向量的转置来完成。

优缺点

优点：化繁为简，降低了计算量。

缺点：一定程度上损失了精度。并且只能处理“线性问题”，这是一种线性降维技术、

总结

假设我们拿到了一份数据集，有m个样本，每个样本由n个特征（变量）来描述，那么我们可以按照以下的步骤进行降维：

1、将数据集中的每个样本作为列向量，按列排列构成一个n行m列的矩阵；

2、将矩阵的每一个行向量（每个变量）都减去该行向量的均值，从而使得新行向量的均值为0，得到新的数据集矩阵X；

3、求X的协方差矩阵，并求出协方差矩阵的特征值λ和单位特征向量e；

4、按照特征值从大到小的顺序，将单位特征向量排列成矩阵，得到转换矩阵P，并按PX计算出主成分矩阵；

5、用特征值计算方差贡献率和方差累计贡献率，取方差累计贡献率超过85%的前k个主成分，或者想降至特定的k维，直接取前k个主成分。

基本步骤如下：

标准化

输入数据集变量的范围标准化，以使它们中的每一个均可大致成比例地分析。如果初始变量的范围之间存在较大差异，那么范围较大的变量将占据范围较小的变量（例如，范围介于0和100之间的变量将占据0到1之间的变量），这将导致主成分的偏差。因此，将数据转换为可比较的比例可避免此问题。

协方差矩阵计算

了解输入数据集的变量是如何相对于平均值变化的。

计算协方差矩阵的特征向量和特征值，用以识别主成分。

特征向量和特征值都是线性代数概念，需要从协方差矩阵计算得出，以便确定数据的主成分。

希望以上回答能对您有所帮助，谢谢。

在SPSS中，主成分分析是通过设置因子分析中的抽取方法实现的，如果设置的抽取方法是主成分，那么计算的就是主成分得分，另外，因子分析和主成分分析尽管原理不同，但是两者综合得分的计算方法是一致的。

层次分析法根据问题的性质和要达到的总目标，将问题分解为不同的组成因素，并按照因素间的相互关联影响以及隶属关系将因素按不同层次聚集组合，

形成一个多层次的分析结构模型，从而最终使问题归结为最低层(供决策的方案、措施等)相对于最高层(总目标)的相对重要权值的确定或相对优劣次序的排定。

扩展资料：

主成分分析法是一种降维的统计方法，它借助于一个正交变换，将其分量相关的原随机向量转化成其分量不相关的新随机向量，这在代数上表现为将原随机向量的协方差阵变换成对角形阵，在几何上表现为将原坐标系变换成新的正交坐标系，

使之指向样本点散布最开的p 个正交方向，然后对多维变量系统进行降维处理，使之能以一个较高的精度转换成低维变量系统，再通过构造适当的价值函数，进一步把低维系统转化成一维系统。

-主成分分析法

层次分析法：

主成分分析和层次分析两者计算权重的不同，AHP层次分析法是一种定性和定量的计算权重的研究方法，采用两两比较的方法，建立矩阵，利用了数字大小的相对性，数字越大越重要权重会越高的原理，最终计算得到每个因素的重要性。

主成分分析

（1）方法原理及适用场景

主成分分析是对数据进行浓缩，将多个指标浓缩成为几个彼此不相关的概括性指标（主成分），从而达到降维的目的。主成分分析可同时计算主成分权重及指标权重。

（2）操作步骤

使用SPSSAU进阶方法-主成分分析。

如果计算主成分权重，需要用到方差解释率。具体加权处理方法为：方差解释率除累积方差解释率。

比如本例中，5个指标共提取了2个主成分：

主成分1的权重：45135%/69390%=6505%

主成分2的权重：24254%/69390%=3495%

如果是计算指标权重，可直接查看“线性组合系数及权重结果表格”，SPSSAU自动输出了各指标权重占比结果。其计算原理分为三步：

第一：计算线性组合系数矩阵，公式为：loading矩阵/Sqrt(特征根)，即载荷系数除以对应特征根的平方根；

第二：计算综合得分系数，公式为：累积（线性组合系数方差解释率）/累积方差解释率，即上一步中得到的线性组合系数分别与方差解释率相乘后累加，并且除以累积方差解释率；

第三：计算权重，将综合得分系数进行归一化处理即得到各指标权重值。