散点图可以利用excel来画。
具体步骤：
1首先，打开excel，输入想要处理的数据。如下图，一般x轴数据在上，y轴数据在下。
2选中这些数据，在菜单栏找到插入--散点图。
3点击散点图，选中最常见的散点图即可，软件就会根据我们的数据绘制出想要的图表。
4接下来，就到了比较重要的一步，我们在图表上画好的点上右击，跳出的菜单中有一个“添加趋势线”的选项。
5选择“添加趋势线”，就会跳出下图小窗口，我们可以根据散点图的趋势来选择添加相应的趋势线，即回归分析类型。
6此外，还可以选择添加回归方程和方差。
7点击关闭后，我们可以看到，图标中出现了线性趋势线，而且还有回归方程和方差值，无需我们计算即可得到,非常方便。
主成分分析：
主成分分析可以简单的总结成一句话：数据的压缩和解释。常被用来寻找判断某种事物或现象的综合指标，并且给综合指标所包含的信息以适当的解释。在实际的应用过程中，主成分分析常被用作达到目的的中间手段，而非完全的一种分析方法。这也是为什么SPSS软件没有为主成分分析专门设置一个菜单选项，而是将其归并入因子分析。
因子分析：
鉴于主成分分析现实含义的解释缺陷，统计学斯皮尔曼又对主成分分析进行扩展。因子分析在提取公因子时，不仅注意变量之间是否相关，而且考虑相关关系的强弱，使得提取出来的公因子不仅起到降维的作用，而且能够被很好的解释。
因子分析与主成分分析是包含与扩展的关系
首先解释包含关系。在SPSS软件“因子分析”模块的提取菜单中，提取公因子的方法很多，其中一种就是主成分。由此可见，主成分只是因子分析的一种方法。
其次是扩展关系。因子分析解决主成分分析解释障碍的方法是通过因子轴旋转。因子轴旋转可以使原始变量在公因子（主成分）上的载荷重新分布，从而使原始变量在公因子上的载荷两级分化，这样公因子（主成分）就能够用哪些载荷大的原始变量来解释。以上过程就解决了主成分分析的现实含义解释障碍。
主成分变换和缨帽变换的异同:
1、主成分变换：又称为主成分分析（PCA）将一组可能相关的变量转换到一组线性不相关的变量（称为主成分）的统计分析过程，它是通过正交变换将一组可能相关的变量转换到一组线性不想管的变量的统计分析过程。应用:图像压缩、图像去噪、图像增强、图像融合、特征提取。
2、缨帽变换是一种基于图像物理特征的固定转换，其实是一种特殊的主成分变换，但与主成分分析不同，缨帽变换后的坐标轴不是指向主成分方向，而是指向与地面景物有密切联系的方向，特别是与植物生长过程和土壤背景有关。应用：图像压缩、图像增强、图像融合。
主成分分析(PCA)是一种常用的无监督学习方法，这一方法利用正交变换把由现行相关变量表示的观测数据转化为少数几个由线性无关变量表示的数据，线性无关的变量称为主成分。主成分的个数通常小于原始变量的个数，所以主成分分析属于姜维方法。主成分分析主要用于发现数据中的基本结构，即数据中变量之间的关系，是数据分析的有力工具，也用于其他机器学习方法的前处理。
统计分析比中，数据的变量之间可能存在相关性，以致增加了分析的难度。于是，考虑由少数几个不相关的变量来代替相关的变量，用来表示数据，并且要求能够保留数据中的不部分信息。
主成分分析中，首先对给定数据进行规范化，使得数据每一变量的平均值为0，方差为1,。之后对数据进行正交变换，用来由线性相关表示的数据，通过正交变换变成若干个线性无关的新变量表示的数据。新变量是可能的正交变换中变量的方差和(信息保存)最大的，方差表示在新变量上信息的大小。将新变量一次成为第一主成分，第二主成分等。通过主成分分析，可以利用主成分近似地表示原始数据，这可理解为发现数据的“基本结构”；也可以把数据由少数主成分表示，这可理解为对数据降维。
方差最大的解释。假设有两个变量 ，三个样本点A,B,C。样本分布在由 轴组成的坐标系中，对坐标系进行旋转变换，得到新的坐标轴 ，表示新的变量 。坐标值的平方和 表示样本在变量 上的方差和。主成分分析旨在选取正交变换中方差最大的变量，作为第一主成分，也是是旋转变换中坐标值的平方和最大的轴。注意到旋转变换中变换中样本点到原点距离的平方和 不变，根据勾股定理，坐标值的平方和最大 等价于样本点到 轴的距离平方和 最小。所以，等价地，主成分分析在旋转变换中选取离样本点的距离的平方和最小的轴，作为第一主成分。第二主成分等的选取，在保证与已有坐标轴正交的条件下，类似地进行
假设 是m维随机变量，其均值是
,
协方差矩阵是
考虑到m维随机变量 到m维随机变量 的线性变换
其中
由随机变量的性质可知
总体主成分的定义 给定式(1)所示的线性变换，如果他们满足下列条件
设 是m维随机变量， 是 的协方差矩阵， 的特征值分别是 ，特征值对应的单位特征向量分别是 ，则 的第k主成分是
的第k主成分的方差是
即协方差矩阵 的第k个特征值
首先求 的第一主成分 ，即求系数向量 。第一主成分的 是在 的条件下， 的所有线性变换中使方差达到最大的
求第一主成分就是求解最优化问题
定义拉格朗日函数
其中 是拉格朗日乘子，将拉格朗日函数对 求导，并令其为0，得
因此 是 的特征值， 是对应的单位特征向量。于是目标函数
假设 是 的最大特征值 对应的单位特征向量，显然 与 是最优化问题的解，所以， 构成第一主成分，其方差等于协方差矩阵的最大特征值
接着求 的第二主成分 ，第二主成分的 是在 且 与 不相关条件下， 的所有线性变换中使达到最大
求第二主成分需参求解约束最优化问题
定义拉格朗日函数
其中 对应拉格朗日乘子。对 求偏导，并令其为0，得
将方程左则乘以 有
此式前两项为0，且 ，导出 ，因此式成为
由此， 是 的特征值， 是对应的特征向量，于是目标函数为
假设 是 的第二大特征值 的特征向量，显然 是以上最优化问题的解。于是 构成第二主成分，其方差等于协方差矩阵的第二大特征值，
按照上述方法可以求得第一、第二、直到第m个主成分，其系数向量 分别是 的第一、第二、直到m个单位特征向量， 分别是对应的特征值。并且，第k主成分的方差等于 的第k个特征值。
主成分分析的主要目的是降维，所以一般选择 个主成分（线性无观变量），使问题得以简化，并能保留原有变量的大部分信息。这里所说的信息是指原有信息的方差。
对任意正整数 ，考虑正交线性变换
其中 是q的维向量， 是qm维矩阵，令 的协方差矩阵为
则 的迹 在 时取最大值，其中矩阵 是由正交矩阵A的前q列组成。
这表明，当 的线性变换 在 时，其协方差矩阵 的迹 取得最大值。也就是说，当A取前 的前q个主成分时，能够最大限度地保留原有变量方差的信息。
以上作为选择k个主成分的理论依据。具体选择k的方法，通常利用方差贡献率。
第k主成分 的方差贡献率定义为 的方差与所有方差之和的比记作
k个主成分 的累计方差贡献率定义为k个方差之和和所有方差之和的比
通常取k使得累计方差贡献率达到规定的百分比以上，例如70%~80%。累计方差贡献率反映了主成分保留信息的比例，但它不能反映对某个原有变量 保留信息的比例，这时通常利用k个主成分 对原有变量 的贡献率。
k个主成分 对原有变量 的贡献率为 , 的相关系数的平方，记作
计算公式如下：
其中， 是随机变量 的方差，即协方差矩阵 的对角元素。
在实际问题中，不同变量可能有不同的量纲，直接求主成分有时会产生不合理的结果，为了消除这个影响，常常对各个随机变量实施规范化，使其均值为0，方差为1
设 为随机变量， 为第i个随机变量， ，令
其中， 分布是随机变量 的均值和方差，这时 就是 的规范化随机变量。
在实际问题中，需要在观测数据上进行主成分分析，这就是样本主成分分析。样本主成分也和总体主成分具体相同的性质。
使用样本主成分时，一般假设样本数据是规范化的，即对样本矩阵如下操作：
其中
样本协方差矩阵S是中体协方差矩阵 的无偏估计，样本相关矩阵R是总体相关矩阵的无偏估计，S的特征值和特征向量 的特征值和特征向量的无偏估计。
传统的主成分分析通过数据的协方差矩阵或相关矩阵的特征值分解进行，现在常用的方法是通过数据矩阵的奇异值分解进行。下面介绍数据的协方差矩阵或相关矩阵的分解方法
给定样本矩阵 ，利用数据的样本的协方差矩阵或样本相关矩阵的特征值分解进行主成分分析
给定样本矩阵 ，利用数据矩阵奇异值分解进行主成分分析，这里没有假设k个主成分
对于 维实矩阵A，假设其秩为r, ，则可将矩阵A进行截断奇异值分解
式 是 矩阵， 是k阶对角矩阵， 分别由取A的完全奇异分解的矩阵U，V的前k列， 由完全奇异分解的矩阵 的前k个对角元素得到
定义一个新的 矩阵
的每一列均值为0，
即 等于X的协方差矩阵
主成分分析归结于求协方差矩阵 的特征值和对应的单位特征向量。
假设 的截断奇异值分解为 ，那么V 的列向量就是 的单位向量，因此V的列向量就是X的主成分。于是X求X的主成分可以通过 的奇异值来实现
在许多领域的研究与应用中，往往需要对反映事物的多个变量进行大量的观测，收集大量数据以便进行分析寻找规律。多变量大样本无疑会为研究和应用提供了丰富的信息，但也在一定程度上增加了数据采集的工作量，更重要的是在多数情况下，许多变量之间可能存在相关性，从而增加了问题分析的复杂性，同时对分析带来不便。如果分别对每个指标进行分析，分析往往是孤立的，而不是综合的。盲目减少指标会损失很多信息，容易产生错误的结论。
因此需要找到一个合理的方法，在减少需要分析的指标同时，尽量减少原指标包含信息的损失，以达到对所收集数据进行全面分析的目的。由于各变量间存在一定的相关关系，因此有可能用较少的综合指标分别综合存在于各变量中的各类信息。
主成分分析（Principal components analysis，以下简称PCA）是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。
PCA的思想是将n维特征映射到k维上（k<n），这k维是全新的正交特征。这k维特征称为主元，是重新构造出来的k维特征，而不是简单地从n维特征中去除其余n-k维特征。
如图。我们希望找到某一个维度方向，它可以代表这两个维度的数据。图中列了两个向量方向，u1和u2，那么哪个向量可以更好的代表原始数据集呢？从直观上也可以看出，u1比u2好。
为什么u1比u2好呢？可以有两种解释，第一种解释是样本点到这个直线的 距离足够近 ，第二种解释是样本点在这个直线上的 投影能尽可能的分开 。
假设三维空间中有一系列点，这些点分布在一个过原点的斜面上，如果你用自然坐标系x,y,z这三个轴来表示这组数据的话，需要使用三个维度，而事实上，这些点的分布仅仅是在一个二维的平面上，那么，问题出在哪里？如果你再仔细想想，能不能 把x,y,z坐标系旋转一下 ，使数据所在平面与x,y平面重合？这就对了！如果把旋转后的坐标系记为x',y',z'，那么这组数据的表示只用x'和y'两个维度表示即可！认为把数据降维后并没有丢弃任何东西，因为这些数据在平面以外的第三个维度的分量都为0，即z'的坐标为0。假设这些数据在z'轴有一个很小的抖动，那么我们仍然用上述的二维表示这些数据，理由是我们可以认为这两个轴x'和y'的信息是数据的主成分，而这些信息对于我们的分析已经足够了，z'轴上的抖动很有可能是噪声。
内积运算：
内积的几何意义：
注意这里我们专门区分了矢量长度和标量长度，标量长度总是大于等于0，值就是线段的长度；而矢量长度可能为负，其绝对值是线段长度，而符号取决于其方向与标准方向相同或相反。
A与B的内积等于A到B的投影长度乘以B的模。再进一步，如果我们假设B的模为1，即让|B|=1|B|=1，那么就变成了：
则内积几何意义：设向量B的模为1，则A与B的内积值等于A向B所在直线投影的矢量长度！
（1）什么是基？
如上图，我们经常用线段终点的点坐标表示向量，例如上面的向量可以表示为(3,2)。但是 只有一个(3,2)本身是不能够精确表示一个向量的 。这里的3实际表示的是向量在x轴上的投影值是3，在y轴上的投影值是2，我们隐式把以x轴和y轴上正方向长度为1的向量为标准，即基为(1,0)和(0,1)。因为它们分别是x和y轴正方向上的单位向量，因此就使得二维平面上点坐标和向量一一对应，非常方便。
所以，要准确描述向量，首先要确定一组基，然后给出基所在的各个直线上的投影值，进而确定坐标值。
（2）什么是基变换？
实际上任何两个线性无关的二维向量都可以成为一组基，所谓线性无关在二维平面内可以直观认为是两个不在一条直线上的向量。例如：(1,1)和(-1,1)也可以成为一组基。
一般来说，我们希望基的模是1，因为从内积的意义可以看到，如果基的模是1，那么就可以方便的用向量点乘基而直接获得其在新基上的坐标了！实际上，对应任何一个向量我们总可以找到其同方向上模为1的向量，只要让两个分量分别除以模就好了。则(1,1)和(-1,1)同方向上模为1的新基为：
（3）用矩阵表示基变换
将(3,2)变换为新基上的坐标，就是用(3,2)与第一个基做内积运算，作为第一个新的坐标分量，然后用(3,2)与第二个基做内积运算，作为第二个新坐标的分量。实际上，我们可以用矩阵相乘的形式简洁的表示这个变换：
其中矩阵的两行分别为两个基，乘以原向量，其结果刚好为新基的坐标。可以稍微推广一下，如果我们有m个二维向量，只要将二维向量按列排成一个两行m列矩阵，然后用“基矩阵”乘以这个矩阵，就得到了所有这些向量在新基下的值。例如(1,1)，(2,2)，(3,3)，想变换到刚才那组基上，则可以这样表示：
一般的，如果我们有M个N维向量，想将其变换为由R个N维向量表示的新空间中，那么首先将R个基按行组成矩阵A，然后将向量按列组成矩阵B，那么两矩阵的乘积AB就是变换结果，其中AB的第m列为A中第m列变换后的结果 。
最后，上述分析同时给矩阵相乘找到了一种物理解释：两个矩阵相乘的意义是将右边矩阵中的每一列列向量变换到左边矩阵中每一行行向量为基所表示的空间中去。更抽象的说，一个矩阵可以表示一种线性变换。
上面我们讨论了选择不同的基可以对同样一组数据给出不同的表示，而且如果基的数量少于向量本身的维数，则可以达到降维的效果。但是我们还没有回答一个最最关键的问题：如何选择基才是最优的。或者说，如果我们有一组N维向量，现在要将其降到K维（K小于N），那么我们应该如何选择K个基才能最大程度保留原有的信息？看下图：
那么如何选择最优基这个问题被形式化为：寻找一个一维基，使得所有数据变换为这个基上的坐标表示后，方差值最大。
至此我们知道一下几点：
对原始数据进行（线性变换）基变换可以对原始样本给出不同的表示；
基的维度小于数据的维度可以起到降维的效果；
对基变换后的新样本求其方差，选取使其方差最大的基作为最优基。
对于上面二维降成一维的问题来说，找到那个使得方差最大的方向就可以了。不过对于更高维，还有一个问题需要解决。考虑三维降到二维问题。与之前相同，首先我们希望找到一个方向使得投影后方差最大，这样就完成了第一个方向的选择，继而我们选择第二个投影方向。如果我们还是单纯只选择方差最大的方向，很明显，这个方向与第一个方向应该是“几乎重合在一起”，显然这样的维度是没有用的，因此，应该有其他约束条件。从直观上说，让两个字段尽可能表示更多的原始信息，我们是不希望它们之间存在（线性）相关性的，因为相关性意味着两个字段不是完全独立，必然存在重复表示的信息。
至此，我们得到了降维问题的优化目标：将一组N维向量降为K维（K大于0，小于N），其目标是选择K个单位（模为1）正交基，使得原始数据变换到这组基上后，各字段两两间协方差为0，而字段的方差则尽可能大（在正交的约束下，取最大的K个方差）。
推广到一般情况：
（1）拉格朗日法
(2) 奇异值分解法（SVD)
在PCA降维过程中，当进行协方差矩阵上求解特征值时，如果面对维度高达1000010000 ，可想而知耗费的计算量程平方级增长。面对这样一个难点，从而引出奇异值分解(SVD)，利用SVD不仅可以解出PCA的解，而且无需大的计算量。
PCA算法的主要优点有：
1、仅仅需要以方差衡量信息量，不受数据集以外的因素影响。
2、各主成分之间正交，可消除原始数据成分间的相互影响的因素。
3、计算方法简单，主要运算是特征值分解，易于实现。
PCA算法的主要缺点有：
1、主成分各个特征维度的含义具有一定的模糊性，不如原始样本特征的解释性强。
2、方差小的非主成分也可能含有对样本差异的重要信息，因降维丢弃可能对后续数据处理有影响。
欢迎分享，转载请注明来源：品搜搜测评网
微信扫一扫
支付宝扫一扫
