请教主成分分析PCA和最小偏二乘回归PLSR

个人觉得 去均值化是为了方面后面的协方差，去均值化后各维度均值为零，

协方差中的均值也就是零了，方便求解。

具体，假设矩阵A去中心化后得到B，那么B的协方差就是BB的转置

KMO检验用于检查变量间的偏相关性 一般认为该值大于09时效果最佳 07以上尚可，06时效果较差

Bartlett's球形检验用于检验相关阵是否是单位阵 P<001说明指标间并非独立，取值是有关系的。可以进行因子分析

根据上图 可以看出一共提取了3个主成分 可是能解释的方差为69958%

软件默认的是提取特征根大于1的主成分 如果加上第四个主成分的话可以解释的变异度为8626%

所以结合专业知识 可以考虑是不是增加一个主成分。

扩展资料：

软件模块实际上就是将以前单独发行的SPSS AnswerTree软件整合进了SPSS平台。笔者几年前在自己的网站上介绍SPSS 11的新功能时，曾经很尖锐地指出SPSS的产品线过于分散，应当把各种功能较单一的小软件，如AnswerTree、Sample Power等整合到SPSS等几个平台上去。

看来SPSS公司也意识到了这一点，而AnswerTree就是在此背景下第一个被彻底整合的产品。

Classification Tree模块基于数据挖掘中发展起来的树结构模型对分类变量或连续变量进行预测，可以方便、快速的对样本进行细分，而不需要用户有太多的统计专业知识。在市场细分和数据挖掘中有较广泛的应用。

已知该模块提供了CHAID、Exhaustive CHAID和C&RT三种算法，在AnswerTree中提供的QUEST算法尚不能肯定是否会被纳入。

为了方便新老用户的使用，Tree模块在操作方式上不再使用AnswerTree中的向导方式，而是SPSS近两年开始采用的交互式选项卡对话框。但是，整个选项卡界面的内容实际上是和原先的向导基本一致的，另外，模型的结果输出仍然是AnswerTree中标准的树形图，这使得AnswerTree的老用户基本上不需要专门的学习就能够懂得如何使用该模块。

由于树结构模型的方法体系和传统的统计方法完全不同，贸然引入可能会引起读者统计方法体系的混乱。为此，本次编写的高级教程并未介绍该模块，而将在高级教程的下一个版本，以及关于市场细分问题的教材中对其加以详细介绍。

参考资料：

-spss

来自: 带呀带尾呀 (数据小生、数字营销、新媒体)

主成分分析与因子分析的区别

1 目的不同： 因子分析把诸多变量看成由对每一个变量都有作用的一些公共因子和仅对某一个变量有作用的特殊因子线性组合而成，因此就是要从数据中控查出对变量起解释作用的公共因子和特殊因子以及其组合系数；主成分分析只是从空间生成的角度寻找能解释诸多变量变异的绝大部分的几组彼此不相关的新变量（主成分）。

2 线性表示方向不同： 因子分析是把变量表示成各公因子的线性组合；而主成分分析中则是把主成分表示成各变量的线性组合。

3 假设条件不同：主成分分析中不需要有假设；因子分析的假设包括：各个公共因子之间不相关，特殊因子之间不相关，公共因子和特殊因子之间不相关。

4 提取主因子的方法不同：因子分析抽取主因子不仅有主成分法，还有极大似然法，主轴因子法，基于这些方法得到的结果也不同；主成分只能用主成分法抽取。

5 主成分与因子的变化：当给定的协方差矩阵或者相关矩阵的特征值唯一时，主成分一般是固定的；而因子分析中因子不是固定的，可以旋转得到不同的因子。

6 因子数量与主成分的数量：在因子分析中，因子个数需要分析者指定（SPSS根据一定的条件自动设定，只要是特征值大于1的因子主可进入分析），指定的因子数量不同而结果也不同；在主成分分析中，成分的数量是一定的，一般有几个变量就有几个主成分（只是主成分所解释的信息量不等）。

7 功能：和主成分分析相比，由于因子分析可以使用旋转技术帮助解释因子，在解释方面更加有优势；而如果想把现有的变量变成少数几个新的变量（新的变量几乎带有原来所有变量的信息）来进入后续的分析，则可以使用主成分分析。当然，这种情况也可以使用因子得分做到，所以这种区分不是绝对的。

1 、聚类分析

基本原理：将个体（样品）或者对象（变量）按相似程度（距离远近）划分类别，使得同一类中的元素之间的相似性比其他类的元素的相似性更强。目的在于使类间元素的同质性最大化和类与类间元素的异质性最大化。

常用聚类方法：系统聚类法，K-均值法，模糊聚类法，有序样品的聚类，分解法，加入法。

注意事项：1 系统聚类法可对变量或者记录进行分类，K-均值法只能对记录进行分类；

2 K-均值法要求分析人员事先知道样品分为多少类；

3 对变量的多元正态性，方差齐性等要求较高。

应用领域：细分市场，消费行为划分，设计抽样方案等

2、判别分析

基本原理：从已知的各种分类情况中总结规律（训练出判别函数），当新样品进入时，判断其与判别函数之间的相似程度（概率最大，距离最近，离差最小等判别准则）。

常用判别方法：最大似然法，距离判别法，Fisher判别法，Bayes判别法，逐步判别法等。

注意事项：1 判别分析的基本条件：分组类型在两组以上，解释变量必须是可测的；

2 每个解释变量不能是其它解释变量的线性组合（比如出现多重共线性情况时，判别权重会出现问题）；

3 各解释变量之间服从多元正态分布（不符合时，可使用Logistic回归替代），且各组解释变量的协方差矩阵相等（各组协方方差矩阵有显著差异时，判别函数不相同）。

相对而言，即使判别函数违反上述适用条件，也很稳健，对结果影响不大。

应用领域：对客户进行信用预测，寻找潜在客户（是否为消费者，公司是否成功，学生是否被录用等等），临床上用于鉴别诊断。

3、 主成分分析/ 因子分析

主成分分析基本原理：利用降维（线性变换)的思想，在损失很少信息的前提下把多个指标转化为几个综合指标（主成分),即每个主成分都是原始变量的线性组合,且各个主成分之间互不相关,使得主成分比原始变量具有某些更优越的性能（主成分必须保留原始变量90%以上的信息），从而达到简化系统结构，抓住问题实质的目的。

因子分析基本原理：利用降维的思想，由研究原始变量相关矩阵内部的依赖关系出发，把一些具有错综复杂关系的变量归结为少数几个综合因子。（因子分析是主成分的推广，相对于主成分分析，更倾向于描述原始变量之间的相关关系）

求解主成分的方法：从协方差阵出发（协方差阵已知），从相关阵出发（相关阵R已知）。

（实际研究中，总体协方差阵与相关阵是未知的，必须通过样本数据来估计）

求解因子载荷的方法：主成分法，主轴因子法，极大似然法，最小二乘法，a因子提取法。

注意事项：1 由协方差阵出发与由相关阵出发求解主成分所得结果不一致时，要恰当的选取某一种方法；

2 对于度量单位或是取值范围在同量级的数据，可直接求协方差阵；对于度量单位不同的指标或是取值范围彼此差异非常大的指标，应考虑将数据标准化，再由协方差阵求主成分；

3主成分分析不要求数据来源于正态分布；

4 在选取初始变量进入分析时应该特别注意原始变量是否存在多重共线性的问题（最小特征根接近于零，说明存在多重共线性问题）。

5 因子分析中各个公共因子之间不相关，特殊因子之间不相关，公共因子和特殊因子之间不相关。

应用领域：解决共线性问题，评价问卷的结构效度，寻找变量间潜在的结构，内在结构证实。

4、对应分析/最优尺度分析

基本原理：利用降维的思想以达到简化数据结构的目的，同时对数据表中的行与列进行处理，寻求以低维图形表示数据表中行与列之间的关系。

对应分析：用于展示变量（两个/多个分类）间的关系（变量的分类数较多时较佳）；

最优尺度分析：可同时分析多个变量间的关系，变量的类型可以是无序多分类，有序多分类或连续性变量，并 对多选题的分析提供了支持。

5、典型相关分析

基本原理：借用主成分分析降维的思想，分别对两组变量提取主成分，且使从两组变量提取的主成分之间的相关程度达到最大，而从同一组内部提取的各主成分之间互不相关。

1主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。这些涉及的因素一般称为指标，在统计分析中也称为变量。因为每个变量都不同程度地反映了所研究问题的某些信息，并且指标之间有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。在用统计方法研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。

2科学研究所涉及的课题往往比较复杂，是因为影响客观事物的因素多，需要考察的变量多。在大部分实际问题中，变量之间是有一定的相关性的，人们自然希望找到较少的几个彼此不相关的综合指标尽可能多地反映原来众多变量的信息

（1）主成分个数远远少于原有变量的个数 

原有变量综合成少数几个因子之后，因子将可以替代原有变量参与数据建模，这将大大减少分析过程中的计算工作量。 

（2）主成分能够反映原有变量的绝大部分信息 

因子并不是原有变量的简单取舍，而是原有变量重组后的结果，因此不会造成原有 变量信息的大量丢失，并能够代表原有变量的绝大部分信息

（3）主成分之间应该互不相关

通过主成分分析得出的新的综合指标（主成分）之间互不相关，因子参与数据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问题

（4）主成分具有命名解释性

一、对原始数据进行标准化

二、计算相关系数矩阵

三、计算特征值与特征向量

四、计算主成分载荷

五、各主成分的得分

主成分分析有以下几方面的应用：

①对原始指标进行综合：主成分分析的主要作用是在基本保留原始指标信息的前提下，以互不相关的较少个数的综合指标来反映原来指标所提供的信息。

②探索多个原始指标对个体特征的影响：对于多个原始指标，求出主成分后，可以利用因子载荷阵的结构，进一步探索各主成分与多个原始指标之间的相互关系，分析各原始指标对各主成分的影响作用。

③对样本进行分类：求出主成分后，如果各主成分的专业意义较为明显，可以利用各样品的主成分得分来进行样品的分类，可能就会与分类预测算法结合。

我们也可以思考下，每一个数据处理算法都不是孤立存在的，而是相互补充。

主成分载荷（Principal Component Loadings，PCLs）是指在主成分分析（PCA）中，每个变量在主成分上的投影系数。PCA是一种用于降维的统计方法，它将高维数据投影到低维空间中，以便更容易地进行可视化、计算和分析。

主成分载荷的意义如下：

1 反映变量间的相关性：主成分载荷反映了每个变量在主成分方向上的变化程度。数值越大，表示该变量在主成分方向上的变化越显著。这有助于揭示变量之间的相关性和主成分所代表的数据结构。

2 表示主成分的特征：主成分载荷可以解释为每个变量在主成分上的投影贡献。一个主成分可以看作是原始变量的线性组合，其权重反映了每个变量在组合中所占的比例。主成分载荷可以帮助我们理解主成分的实际含义和特征。

3 评估变量重要性：通过计算主成分载荷，我们可以对原始变量的重要性进行排序。较大的主成分载荷表示该变量在降维后的数据中仍具有较高的贡献，因此可能具有较高的预测能力或解释能力。

4 用于降维：主成分载荷为我们提供了一种评估变量相关性和特征的方法，从而为数据降维提供了依据。在数据降维过程中，我们通常选择具有较大主成分载荷的变量作为新的特征，以便在低维空间中更好地捕捉数据的结构。

需要注意的是，主成分载荷不能单独作为预测变量，它们只是在主成分方向上的投影系数。实际应用中，我们通常结合主成分和原始变量的信息，以便进行更准确的预测和分析。

#R中作为主成分分析最主要的函数是princomp()函数

#princomp()主成分分析 可以从相关阵或者从协方差阵做主成分分析

#summary()提取主成分信息

#loadings()显示主成分分析或因子分析中载荷的内容

#predict()预测主成分的值

#screeplot()画出主成分的碎石图

#biplot()画出数据关于主成分的散点图和原坐标在主成分下的方向

3、案例

#现有30名中学生身高、体重、胸围、坐高数据，对身体的四项指标数据做主成分分析。

#1载入原始数据

test<-dataframe(

X1=c(148, 139, 160, 149, 159, 142, 153, 150, 151, 139,

140, 161, 158, 140, 137, 152, 149, 145, 160, 156,

151, 147, 157, 147, 157, 151, 144, 141, 139, 148),

主成分分析

主成分分析（(Principal Component Analysis，PCA）是一种数据降维技巧，它能将大量相关变量转化为一组很少的不相关变量，这些无关变量称为主成分（原来变量的线性组合）。整体思想就是化繁为简，抓住问题关键，也就是降维思想。

主成分分析法是通过恰当的数学变换，使新变量——主成分成为原变量的线性组合，并选取少数几个在变差总信息量中比例较大的主成分来分析事物的一种方法。主成分在变差信息量中的比例越大，它在综合评价中的作用就越大。

因子分析

探索性因子分析法（Exploratory Factor Analysis，EFA）是一系列用来发现一组变量的潜在结构的方法。它通过寻找一组更小的、潜在的或隐藏的结构来解释已观测到的、显式的变量间的关系。

PCA与EFA模型间的区别

参见图14-1。主成分（PC1和PC2）是观测变量（X1到X5）的线性组合。形成线性组合的权重都是通过最大化各主成分所解释的方差来获得，同时还要保证个主成分间不相关。相反，因子（F1和F2）被当做是观测变量的结构基础或“原因”，而不是它们的线性组合。

R的基础安装包提供了PCA和EFA的函数，分别为princomp()和factanal()。

最常见的分析步骤

(1)数据预处理。PCA和EFA都根据观测变量间的相关性来推导结果。用户可以输入原始数据矩阵或者相关系数矩阵到principal()和fa()函数中。若输入初始数据，相关系数矩阵将会被自动计算，在计算前请确保数据中没有缺失值。

(2)选择因子模型。判断是PCA（数据降维）还是EFA（发现潜在结构）更符合你的研究目标。如果选择EFA方法，你还需要选择一种估计因子模型的方法（如最大似然估计）。

(3)判断要选择的主成分/因子数目。

(4)选择主成分/因子。

(5)旋转主成分/因子。

(6)解释结果。

(7)计算主成分或因子得分。

PCA的目标是用一组较少的不相关变量代替大量相关变量，同时尽可能保留初始变量的信息，这些推导所得的变量称为主成分，它们是观测变量的线性组合。如第一主成分为：

它是k个观测变量的加权组合，对初始变量集的方差解释性最大。第二主成分也是初始变量的线性组合，对方差的解释性排第二，同时与第一主成分正交（不相关）。后面每一个主成分都最大化它对方差的解释程度，同时与之前所有的主成分都正交。理论上来说，你可以选取与变量数相同的主成分，但从实用的角度来看，我们都希望能用较少的主成分来近似全变量集。

主成分与原始变量之间的关系

（1）主成分保留了原始变量绝大多数信息。

（2）主成分的个数大大少于原始变量的数目。

（3）各个主成分之间互不相关。

（4）每个主成分都是原始变量的线性组合。

数据集USJudgeRatings包含了律师对美国高等法院法官的评分。数据框包含43个观测，12个变量。

用来判断PCA中需要多少个主成分的准则：

根据先验经验和理论知识判断主成分数；

根据要解释变量方差的积累值的阈值来判断需要的主成分数；

通过检查变量间k × k的相关系数矩阵来判断保留的主成分数。

最常见的是基于特征值的方法。每个主成分都与相关系数矩阵的特征值相关联，第一主成分与最大的特征值相关联，第二主成分与第二大的特征值相关联，依此类推。

Kaiser-Harris准则建议保留特征值大于1的主成分，特征值小于1的成分所解释的方差比包含在单个变量中的方差更少。Cattell碎石检验则绘制了特征值与主成分数的图形。这类图形可以清晰地展示图形弯曲状况，在图形变化最大处之上的主成分都可保留。最后，你还可以进行模拟，依据与初始矩阵相同大小的随机数据矩阵来判断要提取的特征值。若基于真实数据的某个特征值大于一组随机数据矩阵相应的平均特征值，那么该主成分可以保留。该方法称作平行分析。

图形解读：线段和x符号组成的图（蓝色线）：特征值曲线；

红色虚线：根据100个随机数据矩阵推导出来的平均特征值曲线；

绿色实线：特征值准则线（即：y=1的水平线）

判别标准：特征值大于平均特征值，且大于y=1的特征值准则线，被认为是可保留的主成分。根据判别标准，保留1个主成分即可。

faparallel函数学习

faparallel(data,nobs=,fa=”pc”/”both”,niter=100,showlegend=T/F)

data：原始数据数据框；

nobs：当data是相关系数矩阵时，给出原始数据（非原始变量）个数，data是原始数据矩阵时忽略此参数；

fa：“pc”为仅计算主成分，“fa”为因子分析，“both”为计算主成分及因子；

niter：模拟平行分析次数；

showlegend：显示图例。

principal(r, nfactors = , rotate = , scores = )

r：相关系数矩阵或原始数据矩阵；

nfactors：设定主成分数（默认为1）；

rotate：指定旋转的方法，默认最大方差旋转（varimax）。

scores：设定是否需要计算主成分得分（默认不需要）。

PC1栏包含了成分载荷，指观测变量与主成分的相关系数。如果提取不止一个主成分，那么还将会有PC2、PC3等栏。成分载荷（component loadings）可用来解释主成分的含义，解释主成分与各变量的相关程度。

h2栏为成分公因子方差，即主成分对每个变量的方差解释度。

u2栏为成分唯一性，即方差无法被主成分解释的部分（1-h2）。

SS loadings包含了与主成分相关联的特征值，其含义是与特定主成分相关联的标准化后的方差值，即可以通过它来看90%的方差可以被多少个成分解释，从而选出主成分（即可使用nfactors=原始变量个数来把所有特征值查出，当然也可以直接通过eigen函数对它的相关矩阵进行查特征值）。

Proportion Var表示每个主成分对整个数据集的解释程度。

Cumulative Var表示各主成分解释程度之和。

Proportion Explained及Cumulative Proportion分别为按现有总解释方差百分比划分主成分及其累积百分比。

结果解读：第一主成分（PC1）与每个变量都高度相关，也就是说，它是一个可用来进行一般性评价的维度。ORAL变量991%的方差都可以被PC1来解释，仅仅有091%的方差不能被PC1解释。第一主成分解释了11个变量92%的方差。

结果解读：通过碎石图可以判定选择的主成分个数为2个。

结果解读：从结果Proportion Var： 058和022可以判定，第一主成分解释了身体测量指标58%的方差，而第二主成分解释了22%，两者总共解释了81%的方差。对于高度变量，两者则共解释了其88%的方差。

旋转是一系列将成分载荷阵变得更容易解释的数学方法，它们尽可能地对成分去噪。旋转方法有两种：使选择的成分保持不相关（正交旋转），和让它们变得相关（斜交旋转）。旋转方法也会依据去噪定义的不同而不同。最流行的正交旋转是方差极大旋转，它试图对载荷阵的列进行去噪，使得每个成分只是由一组有限的变量来解释（即载荷阵每列只有少数几个很大的载荷，其他都是很小的载荷）。 结果列表中列的名字都从PC变成了RC，以表示成分被旋转。

当scores = TRUE时，主成分得分存储在principal()函数返回对象的scores元素中。

如果你的目标是寻求可解释观测变量的潜在隐含变量，可使用因子分析。

EFA的目标是通过发掘隐藏在数据下的一组较少的、更为基本的无法观测的变量，来解释一

组可观测变量的相关性。这些虚拟的、无法观测的变量称作因子。（每个因子被认为可解释多个

观测变量间共有的方差，因此准确来说，它们应该称作公共因子。）

其中 是第i个可观测变量（i = 1…k）， 是公共因子（j = 1…p），并且p<k。 是 变量独有的部分（无法被公共因子解释）。 可认为是每个因子对复合而成的可观测变量的贡献值。

碎石检验的前两个特征值（三角形）都在拐角处之上，并且大于基于100次模拟数据矩阵的特征值均值。对于EFA，Kaiser-Harris准则的特征值数大于0，而不是1。

结果解读：PCA结果建议提取一个或者两个成分，EFA建议提取两个因子。

fa(r, nfactors=, nobs=, rotate=, scores=, fm=)

 r是相关系数矩阵或者原始数据矩阵；

 nfactors设定提取的因子数（默认为1）；

 nobs是观测数（输入相关系数矩阵时需要填写）；

 rotate设定旋转的方法（默认互变异数最小法）；

 scores设定是否计算因子得分（默认不计算）；

 fm设定因子化方法（默认极小残差法）。

与PCA不同，提取公共因子的方法很多，包括最大似然法（ml）、主轴迭代法（pa）、加权最小二乘法（wls）、广义加权最小二乘法（gls）和最小残差法（minres）。统计学家青睐使用最大似然法，因为它有良好的统计性质。

结果解读：两个因子的Proportion Var分别为046和014，两个因子解释了六个心理学测试60%的方差。

结果解读：阅读和词汇在第一因子上载荷较大，画图、积木图案和迷宫在第二因子上载荷较大，非语言的普通智力测量在两个因子上载荷较为平均，这表明存在一个语言智力因子和一个非语言智力因子。

正交旋转和斜交旋转的不同之处。

对于正交旋转，因子分析的重点在于因子结构矩阵（变量与因子的相关系数），而对于斜交旋转，因子分析会考虑三个矩阵：因子结构矩阵、因子模式矩阵和因子关联矩阵。

因子模式矩阵即标准化的回归系数矩阵。它列出了因子预测变量的权重。因子关联矩阵即因子相关系数矩阵。

图形解读：词汇和阅读在第一个因子（PA1）上载荷较大，而积木图案、画图和迷宫在第二个因子（PA2）上载荷较大。普通智力测验在两个因子上较为平均。

与可精确计算的主成分得分不同，因子得分只是估计得到的。它的估计方法有多种，fa()函数使用的是回归方法。

R包含了其他许多对因子分析非常有用的软件包。FactoMineR包不仅提供了PCA和EFA方法，还包含潜变量模型。它有许多此处我们并没考虑的参数选项，比如数值型变量和类别型变量的使用方法。FAiR包使用遗传算法来估计因子分析模型，它增强了模型参数估计能力，能够处理不等式的约束条件，GPArotation包则提供了许多因子旋转方法。最后，还有nFactors包，它提供了用来判断因子数目的许多复杂方法。

主成分分析

1数据导入

数据结构：对10株玉米进行了生物学性状考察，考察指标有株高，穗位，茎粗，穗长，秃顶，穗粗，穗行数，行粒数。

结果解读：选择2个主成分即可保留样本大量信息。

3提取主成分

结果解读：主成分1可解释44%的方差，主成分2解释了26%的方差，合计解释了70%的方差。

4获取主成分得分

5主成分方程

PC1 = 027 株高 - 004 穗位 + 029 茎粗 - 001 穗长 - 021 秃顶 - 013 穗粗 + 016 穗行数 + 024 行粒数

PC2 = -001 株高 + 036 穗位 - 010 茎粗 + 041 穗长 - 008 秃顶 + 043 穗粗 - 015 穗行数 + 001 行粒数

图形解读：此图反映了变量与主成分的关系，三个蓝点对应的RC2值较高，点上的标号2，4，6对应变量名穗位，穗长，穗粗，说明第2主成分主要解释了这些变量，与这些变量相关性强；黑点分别对应株高，茎粗，穗行数，行粒数，说明第一主成分与这些变量相关性强，第一主成分主要解释的也是这些变量，而5号点秃顶对于两个主成分均没有显示好的相关性。

因子分析

图解：可以看到需要提取4个因子。

2提取因子

结果解读：因子1到4解释了80%的方差。

3获取因子得分

图解：可以看出，因子1和因子2的相关系数为04，行粒数，株高，茎粗，秃顶在因子1的载荷较大，穗长，穗位在因子2上的载荷较大；因子3只有穗行数相关，因子4只有穗粗相关。

参考资料：