从句法结构的关系意义出发,对句子作成分功能或作用分析的方法叫句子成分分析法,即用各种方法标出基本成分(主语、谓语、宾语)和次要成分(状语、补语)。
句子有七个成分,分别为主语、谓语、宾语、补语、定语、状语、同位语。 主语是一个句子的发生动作的主体,谓语一般是动词充当,宾语是表示动作发生的对象。
例如,“我吃饭”中,“我”是主语,“吃”是谓语,“饭”是宾语。
定语是一般是形容词充当 修饰主语和宾语,状语是表时间、地点、状态、方位等等的限制补充的成分,补语是补充说明宾语。
主语是句子里被陈述的对象,谓语是用来陈述主语的。在一般情况下,主语在前,谓语在后。
(1) 大伙都散了。(《分马》)
(2) 满树浅**的小花, 并不出众。(《荔枝蜜》)
(3)我最不能忘记的是他的背影。(《背影》)
(4)利用物候知识来研究农业生产,已经发展为一门科学。(《大自然的语言》)
(5)那壮丽的柱廊,淡雅的色调,以及四周层次繁多的建筑立面, 组成了一幅庄严绚丽的画图。(《雄伟的人民大会堂》)
这几句的主语是 "大伙"" 满树浅**的小花""我"" 利用物候知识来研究农业生产"" 那壮丽的柱廊,淡雅的色调,以及四周层次繁多的建筑立面",这几句的谓语是"都散了"" 并不出众""是他的背影" 。" 已经发展为一门科学"" 组成了一幅庄严绚丽的画图"。
把中心词看成是主语和谓语也是可以的。如:
(6)一张简陋的大竹床铺着厚厚的稻草。(《驿路梨花》)
(7)其实这种缩微技术,早在十九世纪普法战争时候就使用过了。(《从甲骨文到缩微图书馆》)
可以认为"竹床""技术"是主语,可以认为"铺""使用"是谓语。
直接成分这一术语,最先是由布龙菲尔德在《语言论》中提出的,由此产生了直接成分分析法——这一语言分析方法。
Constitute Analysis 美国结构主义语言学派的句子分析方法。是对句子句法结构组合形式层次性的分析,把句子的各个部分不断地一分为二,直到不能再切为止。
直接成分分析法指从句法结构的外部形式,特别是隐形形式入手,对句子的直接组成成分进行分析的方法。由于句子的直接成分和句子的层次性一致,所以也叫层次分析法。由于通常的直接成分分析法是对句子结构的各个部分不断地一分为二,所以又叫做二分法。
由来
直接成分这个概念最早是由美国语言学家布龙菲尔德在1933年首次出版的《语言论》中提出来的。
他说"任何一个说英语的人,如果他有意来分析语言形式,一定会告诉我们:Poor John ran away的直接成分是 poor John和 ran away这两个形式;而这两个形式又分别是个复合形式;ran away的直接成分是ran……和away……;poor John的直接成分是……poor和John"(p161)。
主成分分析法: 英文全名 Principal Component Analysis 简称 PCA ,由名字就可以看出来,这是一个挑重点分析的方法。主成分分析 法是通过 恰当 的数学变换 ,使新变量—— 主成分成为原变量 的线性 组合 ,并选 取少数 几个在变差总信息量中 比例较 大的主成分来分析 事物 的一种方法 。 主成分在变差信息量中的比例越大 , 它在综合评价 中的作用就越大。
思想: 整体思想就是化繁为简,抓住问题关键,也就是降维思想。当然,既然是抓住关键,那么自然就是以牺牲精度为代价。
解决问题: 因为每个变量都在不同程度上反映了所研究问题的某些信息,并且指标之间彼此有一定的相关性,因而所得的统计数据反映的信息在一定程度上有重叠。 在用统计方法研究多变量问题时,变量太多会增加计算量和分析问题的复杂性。
人们希望在进行定量分析过程中,涉及的变量较少,得到的信息量较多。为了尽可能的减少冗余和噪音,一般情况可以从相关变量中选择一个,或者把几个相关变量综合为一个变量作为代表,用少数变量来代表所有变量。
原理: 因为评估所涉及的众多变量之间既然有一定的相关性,就必然存在着起支配作用的因素。根据这一点,通过对原始变量和相关矩阵的内部结构的关系研究 ,找出影响目标变量某一要素的几个综合指标,使综合指标为原来变量的线性拟合。 这样,综合指标不仅保留了原始变量的主要信息,且彼此间不相关,又比原始变量具有某些更优越的性质,使得我们在研究复杂目标变量评估问题时,容易抓住主要矛盾。
形象理解
比如,某学籍数据,有两列 M 和 F ,其中M 列的取值是如果学生为男性,则取值为 1 如果为女性,则取值为 0 。F 列,如果为男性则取值为 0 否则取值为一。 由这两种关系可以知道,这两列数据是强相关的。只要保留一列,就能够完全还原另外一列。 当然,不要局限于数据删除,还有数据转换,删除可以理解为在此方法中的一种方式。
当然,上述情况在真实数据中是不可能出现的。这里只是借此介绍一下这种思维。真实情况中, 我们需要考虑删除哪一列信息可以使得损失最小?或者是通过变换数据就能使得损失信息更小?又如何度量信息的丢失量?原始数据的处理降维有哪些步骤?
坐标示例:
我们来看下面这张图,这是一个椭圆的点阵。椭圆上面有一个长轴和一个短轴。现在我们要表示点阵的主要变化趋势,就可以以长短轴(或者平行于长短轴)构建新的坐标系。在极端的情况下,短轴变成了一个点,那么长轴就能代表这个点阵的趋势和特点。这样,一个二维数据,就变成了一维。
基础知识储备
内积与投影:
内积运算,将两个向量映射为一个实数。其几何意义就是 向量 A ,在向量 B 的投影长度。(下图是以二维向量为例,多维空间依然是如此。)
上式中,B 为单位向基 :
同样以上图 B为例,B向量为(3,2)其表示的其实为在 X 轴的投影值为3 ,在Y轴的投影值 为 2 。这其实加入了一个隐含信息,就是本坐标轴 分别是以 X Y轴为方向的单位向量。这里的 X Y 轴其实就是我们所提到的 基。只不过一般默认为 (1,0)和(0,1)
所以呢,要描述一组向量,首先是要确定一组基。然后求这个向量在这组基中的投影即可。对基的要求是线性无关,并不一定非要正交。但是因为正交基有较好的性质,所以一般情况我们都是用正交基。
基变换
上面我们了解了基的原理。如果同样把(3,2)放到新基里面描述,那就是把向量和新基相乘即可。
如果是在描述中,有多个基呢?那就是与基阵相乘。
如何实现降维
上面的思路,我们都清楚了。那么我们如何通过基变换来降维呢?这里我们来举个例子。假设我们有一个矩阵如下。
为了处理方面,我们现在把每个字段都减去字段平均值,那么就变成了如下所示
表示在坐标上如下图
那么,我们现在想用一维坐标来表示,而且要求尽可能的保留原来的信息,我们需要如何选择方向(基)呢?(二维降一维)
思路就是,希望投影后的值尽可能的分散,避免重合。
协方差:
在概率论与统计学中,协方差用于衡量两个随机变量的联合变化程度。而方差则是协方差的一种特殊情况,即变量与自身的协方差。
期望:在概率论和统计学中,一个离散性随机变量的期望值(或数学期望,亦简称期望,物理学中称为期待值)是试验中每次可能的结果乘以其结果概率的总和。比如骰子的期望值为 1 1/6 +21/6 + …+ 61/6 = 35
协方差公式为:
其中,E(X) = u E(Y) = v
协方差表示的是两个变量的总体的误差 ,这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致,也就是说如果其中一个大于自身的期望值,另外一个也大于自身的期望值,那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反,即其中一个大于自身的期望值,另外一个却小于自身的期望值,那么两个变量之间的协方差就是负值。如果X 与Y 是统计独立的,那么二者之间的协方差就是0
流程和步骤
第一步:标准化
把输入数据集变量的范围标准化,以使它们中的每一个均可以大致成比例的分析。简单说,就是要把存在较大差异的数据转变为可比较的数据。比如把 0-100 的变量转化为 0-1 的变量。这一步一般可以通过减去平均值,再除以每个变量值的标准差来完成。标准差公式如下
那么常用的标准化指标变量公式可为
第二步:协方差矩阵计算
这一步的目的是:了解输入数据集的变量是如何相对于平均值变化的。或者换句话说,是为了查看它们之间是否存在任何关系。因为有时候,变量间高度相关是因为它们包含大量的信息。因此,为了识别这些相关性,我们进行协方差矩阵计算。
协方差矩阵是p×p对称矩阵(其中p是维数),其所有可能的初始变量与相关联的协方差作为条目。
好了,现在我们知道协方差矩阵只不过是一个表,汇总了所有可能配对的变量间相关性。下面就是计算协方差矩阵的特征向量和特征值,以筛选主要成分。
第三步:计算协方差矩阵的特征向量和特征值,用以识别主成分
特征向量和特征值都是线性代数概念,需要从协方差矩阵计算得出,以便确定数据的主成分。开始解释这些概念之前,让我们首先理解主成分的含义
主成分是由初始变量的线性组合或混合构成的新变量。该组合中新变量(如主成分)之间彼此不相关,且大部分初始变量都被压缩进首个成分中。所以,10维数据会显示10个主成分,但是PCA试图在第一个成分中得到尽可能多的信息,然后在第二个成分中得到尽可能多的剩余信息,以此类推。
例如,假设你有一个10维数据,你最终将得到的内容如下面的屏幕图所示,其中第一个主成分包含原始数据集的大部分信息,而最后一个主成分只包含其中的很少部分。因此,以这种方式组织信息,可以在不丢失太多信息的情况下减少维度,而这需要丢弃携带较少信息的成分。
在这里,方差和信息间的关系是,线所承载的方差越大,数据点沿着它的分散也越大,沿着线的散点越多,它所携带的信息也越多。简单地说,只要把主成分看作是提供最佳角度来观察和评估数据的新轴,这样观测结果之间的差异就会更明显。
协方差矩阵的特征向量实际上是方差最多的轴的方向(或最多的信息),我们称之为主成分。通过特征值的顺序对特征向量进行排序,从最高到最低,你就得到了按重要性排序的主成分。
第四步:特征向量
正如我们在上一步中所看到的,计算特征向量并按其特征值依降序排列,使我们能够按重要性顺序找到主成分。在这个步骤中我们要做的,是选择保留所有成分还是丢弃那些重要性较低的成分(低特征值),并与其他成分形成一个向量矩阵,我们称之为特征向量。
因此,特征向量只是一个矩阵,其中包含我们决定保留的成分的特征向量作为列。这是降维的第一步,因为如果我们选择只保留n个特征向量(分量)中的p个,则最终数据集将只有p维。
第五步:沿主成分轴重新绘制数据
在前面的步骤中,除了标准化之外,你不需要更改任何数据,只需选择主成分,形成特征向量,但输入数据集时要始终与原始轴统一(即初始变量)。
这一步,也是最后一步,目标是使用协方差矩阵的特征向量去形成新特征向量,将数据从原始轴重新定位到由主成分轴中(因此称为主成分分析)。这可以通过将原始数据集的转置乘以特征向量的转置来完成。
优缺点
优点:化繁为简,降低了计算量。
缺点:一定程度上损失了精度。并且只能处理“线性问题”,这是一种线性降维技术、
总结
假设我们拿到了一份数据集,有m个样本,每个样本由n个特征(变量)来描述,那么我们可以按照以下的步骤进行降维:
1、将数据集中的每个样本作为列向量,按列排列构成一个n行m列的矩阵;
2、将矩阵的每一个行向量(每个变量)都减去该行向量的均值,从而使得新行向量的均值为0,得到新的数据集矩阵X;
3、求X的协方差矩阵,并求出协方差矩阵的特征值λ和单位特征向量e;
4、按照特征值从大到小的顺序,将单位特征向量排列成矩阵,得到转换矩阵P,并按PX计算出主成分矩阵;
5、用特征值计算方差贡献率和方差累计贡献率,取方差累计贡献率超过85%的前k个主成分,或者想降至特定的k维,直接取前k个主成分。
主成分分析也称主分量分析,旨在利用降维的思想,把多指标转化为少数几个综合指标。 在统计学中,主成分分析(principal components analysis,PCA)是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中,使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上,第二大方差在第二个坐标(第二主成分)上,依次类推。主成分分析经常用减少数据集的维数,同时保持数据集的对方差贡献最大的特征这是通过保留低阶主成分,忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面但是,这也不是一定的,要视具体应用而定
层次分析法:
主成分分析和层次分析两者计算权重的不同,AHP层次分析法是一种定性和定量的计算权重的研究方法,采用两两比较的方法,建立矩阵,利用了数字大小的相对性,数字越大越重要权重会越高的原理,最终计算得到每个因素的重要性。
主成分分析
(1)方法原理及适用场景
主成分分析是对数据进行浓缩,将多个指标浓缩成为几个彼此不相关的概括性指标(主成分),从而达到降维的目的。主成分分析可同时计算主成分权重及指标权重。
(2)操作步骤
使用SPSSAU进阶方法-主成分分析。
如果计算主成分权重,需要用到方差解释率。具体加权处理方法为:方差解释率除累积方差解释率。
比如本例中,5个指标共提取了2个主成分:
主成分1的权重:45135%/69390%=6505%
主成分2的权重:24254%/69390%=3495%
如果是计算指标权重,可直接查看“线性组合系数及权重结果表格”,SPSSAU自动输出了各指标权重占比结果。其计算原理分为三步:
第一:计算线性组合系数矩阵,公式为:loading矩阵/Sqrt(特征根),即载荷系数除以对应特征根的平方根;
第二:计算综合得分系数,公式为:累积(线性组合系数方差解释率)/累积方差解释率,即上一步中得到的线性组合系数分别与方差解释率相乘后累加,并且除以累积方差解释率;
第三:计算权重,将综合得分系数进行归一化处理即得到各指标权重值。
成分检测主要是检测产品的已知成分,对已知成分进行定性定量分析,是一个已知成分验证的过程,成分检测(包含成分检测、成分测试项目)是通过谱图对未知成分进行分析的技术方法,因该技术普遍采用光谱,色谱,能谱,热谱,质谱等微观谱图。
成分检测范围:
金属材料成分分析:各类铁基合金材料(不锈钢、结构钢、碳素钢、合金钢、铸铁等)、铜合金、铝合金、锡合金、镁合金、镍合金、锌合金等。
高分子材料:塑料、橡胶、油墨、涂料、胶黏剂、塑胶等。
成分检测方法:
重量法、滴定法、电位电解、红外碳/硫分析、火花直读光谱分析、原子吸收光谱分析、热重分析(TGA)、高效液相色谱分析(HPLC)、紫外分光光度计(UV-Vis)、傅立叶变换红外光谱分析(FTIR)、裂解/气相色谱/质谱联用分析(PY-GC-MS)、扫描电子显微镜/X射线能谱分析(SEM/EDS)、电感耦合等离子体原子发射光谱分析(ICP-OES)。
成分检测标准方法:
GB/T 17432-2012 变形铝及铝合金化学成分分析取样方法
GB/T 20123-2006 钢铁 总碳硫含量的测定 高频感应炉燃烧后红外吸收法(常规方法)
GB/T 2231-1981 钢铁及合金中碳量的测定
GB/T 4336-2002 碳素钢和中低合金钢 火花源原子发射光谱分析法(常规法)
GB/T 7764-2001 橡胶鉴定红外光谱法 GB/T 6040-2002 红外光谱分析方法通则
DIN 53383-2-1983 塑料检验通过炉内老化检验高密度聚乙烯(PE-HD)的氧化稳定性羰基含量的红外光谱测定
JIS K 0117:2000 红外光谱分析方法通则 YBB0026 2004 包装材料红外光谱测定法
欢迎分享,转载请注明来源:品搜搜测评网