SPSS（十一）信息浓缩技术--主成分分析、因子分析（图文+数据集）
当我们的自变量存在多重共线性，表现为进行回归时候方程系数估计不正常以及方程检验结果不正常，也许我们可以使用变量挑选的办法（手动挑选、向前法、向后法、逐步法），但是再复杂一点其实就不行了，之前我们介绍过岭回归解决该问题，其实我们还可以使用信息浓缩的技术来解决自变量存在多重共线性问题。
本讲课程中涉及的方法其实质均为数据化简、信息浓缩，即将分散在多个变量中的同类信息集中、提纯，从而便于分析、解释和利用。目的为浓缩信息（主成分分析）、目的为探讨内在结构（因子分析），正因如此，这些信息浓缩方法、特别是其中的因子分析方法，往往成为更复杂的多元分析方法的基石
主成分分析和因子分析都是对连续型的自变量进行信息浓缩，后面会讲解对分类自变量进行信息浓缩的方法--对应分析
主成分分析：解决变量间多重共线性(data reduction)
有太多的变量，希望能够消减变量，用一个新的、更小的由原始变量集组合成的新变量集作进一步分析
新变量集能够更有利于简化和解释问题
因子分析：探讨变量内在联系和结构(structure detection)
观测变量之间的存在相互依赖关系
主成分分析
只是一种中间手段，其背景是研究中经常会遇到多指标的问题，这些指标间往往存在一定的相关，直接纳入分析不仅复杂，变量间难以取舍，而且可能因多重共线性而无法得出正确结论
主成分分析的目的就是通过线性变换，将原来的多个指标组合成相互独立的少数几个能充分反映总体信息的指标（这些指标不一定会有准确的含义），便于进一步分析，尽可能保留原始变量的信息，且彼此不相关
在主成分分析中，提取出的每个主成分都是原来多个指标的线性组合
如有两个原始变量x1和x2，则一共可提取出两个主成分如下：
z1=b11x1+b21x2
z2=b12x1+b22x2
比如上面这张图，两个自变量存在共线性，我们提取两个主成分
原则上如果有n个变量，则最多可以提取出n个主成分，但如果将它们全部提取出来就失去了该方法简化数据的实际意义。多数情况下提取出前2~3个主成分已包含了90%以上的信息，其他的可以忽略不计。
在进行主成分回归时，提取出的主成分能包含主要信息即可，不一定非要有准确的实际含义。
用途：
主成分评价：当进行多指标的综合评价时，应用主成分方法将多指标中的信息集中为若干个主成分，然后加权求和，得到综合评价指数。（比如高校的综合排名，收集了一系列与排名有关的自变量，之后提取两至三个主成分，加权求和给出排名）
主成分回归：通过对存在共线性的自变量进行主成分分析，从而在提取多数信息的同时解决共线性问题
一、描述统计
描述性统计是指运用制表和分类，图形以及计筠概括性数据来描述数据的集中趋势、离散趋势、偏度、峰度。
1、缺失值填充：常用方法：剔除法、均值法、最小邻居法、比率回归法、决策树法。
2、正态性检验：很多统计方法都要求数值服从或近似服从正态分布，所以之前需要进行正态性检验。常用方法：非参数检验的K-量检验、P-P图、Q-Q图、W检验、动差法。
二、假设检验
1、参数检验
参数检验是在已知总体分布的条件下（一股要求总体服从正态分布）对一些主要的参数(如均值、百分数、方差、相关系数等）进行的检验 。
1）U验 使用条件：当样本含量n较大时，样本值符合正态分布
2）T检验 使用条件：当样本含量n较小时，样本值符合正态分布
A 单样本t检验：推断该样本来自的总体均数μ与已知的某一总体均数μ0 (常为理论值或标准值)有无差别；
B 配对样本t检验：当总体均数未知时，且两个样本可以配对，同对中的两者在可能会影响处理效果的各种条件方面扱为相似；
C 两独立样本t检验：无法找到在各方面极为相似的两样本作配对比较时使用。
2、非参数检验
非参数检验则不考虑总体分布是否已知，常常也不是针对总体参数，而是针对总体的某些一股性假设（如总体分布的位罝是否相同，总体分布是否正态）进行检验。
适用情况：顺序类型的数据资料，这类数据的分布形态一般是未知的。
A 虽然是连续数据，但总体分布形态未知或者非正态；
B 体分布虽然正态，数据也是连续类型，但样本容量极小，如10以下；
主要方法包括：卡方检验、秩和检验、二项检验、游程检验、K-量检验等。
三、信度分析
检査测量的可信度，例如调查问卷的真实性。
分类：
1、外在信度：不同时间测量时量表的一致性程度，常用方法重测信度
2、内在信度；每个量表是否测量到单一的概念，同时组成两表的内在体项一致性如何，常用方法分半信度。
四、列联表分析
用于分析离散变量或定型变量之间是否存在相关。
对于二维表，可进行卡方检验，对于三维表，可作Mentel-Hanszel分层分析。
列联表分析还包括配对计数资料的卡方检验、行列均为顺序变量的相关检验。
五、相关分析
研究现象之间是否存在某种依存关系，对具体有依存关系的现象探讨相关方向及相关程度。
1、单相关： 两个因素之间的相关关系叫单相关，即研究时只涉及一个自变量和一个因变量；
2、复相关 ：三个或三个以上因素的相关关系叫复相关，即研究时涉及两个或两个以上的自变量和因变量相关；
3、偏相关：在某一现象与多种现象相关的场合，当假定其他变量不变时，其中两个变量之间的相关关系称为偏相关。
六、方差分析
使用条件：各样本须是相互独立的随机样本；各样本来自正态分布总体；各总体方差相等。
分类
1、单因素方差分析：一项试验只有一个影响因素，或者存在多个影响因素时，只分析一个因素与响应变量的关系
2、多因素有交互方差分析：一顼实验有多个影响因素，分析多个影响因素与响应变量的关系，同时考虑多个影响因素之间的关系
3、多因素无交互方差分析：分析多个影响因素与响应变量的关系，但是影响因素之间没有影响关系或忽略影响关系
4、协方差分祈：传统的方差分析存在明显的弊端，无法控制分析中存在的某些随机因素，使之影响了分祈结果的准确度。协方差分析主要是在排除了协变量的影响后再对修正后的主效应进行方差分析，是将线性回归与方差分析结合起来的一种分析方法，
七、回归分析
分类：
1、一元线性回归分析：只有一个自变量X与因变量Y有关，X与Y都必须是连续型变量，因变量y或其残差必须服从正态分布。
2、多元线性回归分析
使用条件：分析多个自变量与因变量Y的关系，X与Y都必须是连续型变量，因变量y或其残差必须服从正态分布 。
1）变呈筛选方式：选择最优回归方程的变里筛选法包括全横型法（CP法）、逐步回归法，向前引入法和向后剔除法
2）横型诊断方法：
A 残差检验： 观测值与估计值的差值要艰从正态分布
B 强影响点判断：寻找方式一般分为标准误差法、Mahalanobis距离法
C 共线性诊断：
诊断方式：容忍度、方差扩大因子法(又称膨胀系数VIF)、特征根判定法、条件指针CI、方差比例
处理方法：增加样本容量或选取另外的回归如主成分回归、岭回归等
3、Logistic回归分析
线性回归模型要求因变量是连续的正态分布变里，且自变量和因变量呈线性关系，而Logistic回归模型对因变量的分布没有要求，一般用于因变量是离散时的情况
分类：
Logistic回归模型有条件与非条件之分，条件Logistic回归模型和非条件Logistic回归模型的区别在于参数的估计是否用到了条件概率。
4、其他回归方法 非线性回归、有序回归、Probit回归、加权回归等
八、聚类分析
样本个体或指标变量按其具有的特性进行分类，寻找合理的度量事物相似性的统计量。
1、性质分类：
Q型聚类分析：对样本进行分类处理，又称样本聚类分祈 使用距离系数作为统计量衡量相似度，如欧式距离、极端距离、绝对距离等
R型聚类分析：对指标进行分类处理，又称指标聚类分析 使用相似系数作为统计量衡量相似度，相关系数、列联系数等
2、方法分类：
1）系统聚类法： 适用于小样本的样本聚类或指标聚类，一般用系统聚类法来聚类指标，又称分层聚类
2）逐步聚类法 ：适用于大样本的样本聚类
3）其他聚类法 ：两步聚类、K均值聚类等
九、判别分析
1、判别分析：根据已掌握的一批分类明确的样品建立判别函数，使产生错判的事例最少，进而对给定的一个新样品，判断它来自哪个总体
2、与聚类分析区别
1）聚类分析可以对样本逬行分类，也可以对指标进行分类；而判别分析只能对样本
2）聚类分析事先不知道事物的类别，也不知道分几类；而判别分析必须事先知道事物的类别，也知道分几类
3）聚类分析不需要分类的历史资料，而直接对样本进行分类；而判别分析需要分类历史资料去建立判别函数，然后才能对样本进行分类
3、进行分类 ：
1）Fisher判别分析法 ：
以距离为判别准则来分类，即样本与哪个类的距离最短就分到哪一类， 适用于两类判别；
以概率为判别准则来分类，即样本属于哪一类的概率最大就分到哪一类，适用于
适用于多类判别。
2）BAYES判别分析法 ：
BAYES判别分析法比FISHER判别分析法更加完善和先进，它不仅能解决多类判别分析，而且分析时考虑了数据的分布状态，所以一般较多使用；
十、主成分分析
将彼此梠关的一组指标变适转化为彼此独立的一组新的指标变量，并用其中较少的几个新指标变量就能综合反应原多个指标变量中所包含的主要信息 。
十一、因子分析
一种旨在寻找隐藏在多变量数据中、无法直接观察到却影响或支配可测变量的潜在因子、并估计潜在因子对可测变量的影响程度以及潜在因子之间的相关性的一种多元统计分析方法
与主成分分析比较：
相同：都能够起到済理多个原始变量内在结构关系的作用
不同：主成分分析重在综合原始变适的信息而因子分析重在解释原始变量间的关系，是比主成分分析更深入的一种多元统计方法
用途：
1）减少分析变量个数
2）通过对变量间相关关系探测，将原始变量进行分类
十二、时间序列分析
动态数据处理的统计方法，研究随机数据序列所遵从的统计规律，以用于解决实际问题；时间序列通常由4种要素组成：趋势、季节变动、循环波动和不规则波动。
主要方法：移动平均滤波与指数平滑法、ARIMA横型、量ARIMA横型、ARIMAX模型、向呈自回归横型、ARCH族模型
十三、生存分析
用来研究生存时间的分布规律以及生存时间和相关因索之间关系的一种统计分析方法
1、包含内容：
1）描述生存过程，即研究生存时间的分布规律
2）比较生存过程，即研究两组或多组生存时间的分布规律，并进行比较
3）分析危险因素，即研究危险因素对生存过程的影响
4）建立数学模型，即将生存时间与相关危险因素的依存关系用一个数学式子表示出来。
2、方法：
1）统计描述：包括求生存时间的分位数、中数生存期、平均数、生存函数的估计、判断生存时间的图示法，不对所分析的数据作出任何统计推断结论
2）非参数检验：检验分组变量各水平所对应的生存曲线是否一致，对生存时间的分布没有要求，并且检验危险因素对生存时间的影响。
A 乘积极限法（PL法）
B 寿命表法(LT法)
3）半参数横型回归分析：在特定的假设之下，建立生存时间随多个危险因素变化的回归方程，这种方法的代表是Cox比例风险回归分析法
4）参数模型回归分析：已知生存时间服从特定的参数横型时，拟合相应的参数模型，更准确地分析确定变量之间的变化规律
十四、典型相关分析
相关分析一般分析两个变里之间的关系，而典型相关分析是分析两组变里（如3个学术能力指标与5个在校成绩表现指标）之间相关性的一种统计分析方法。
典型相关分析的基本思想和主成分分析的基本思想相似，它将一组变量与另一组变量之间单变量的多重线性相关性研究转化为对少数几对综合变量之间的简单线性相关性的研究，并且这少数几对变量所包含的线性相关性的信息几乎覆盖了原变量组所包含的全部相应信息。
十五、R0C分析
R0C曲线是根据一系列不同的二分类方式(分界值或决定阈）以真阳性率（灵敏度)为纵坐标，假阳性率（1-特异度)为横坐标绘制的曲线
用途：
1、R0C曲线能很容易地査出任意界限值时的对疾病的识别能力
用途
2、选择最佳的诊断界限值。R0C曲线越靠近左上角，试验的准确性就越高；
3、两种或两种以上不同诊断试验对疾病识别能力的比较，一股用R0C曲线下面积反映诊断系统的准确性。
十六、其他分析方法
多重响应分析、距离分祈、项目分祈、对应分祈、决策树分析、神经网络、系统方程、蒙特卡洛模拟等。
欢迎分享，转载请注明来源：品搜搜测评网
微信扫一扫
支付宝扫一扫
