lamda在线对话的简单介绍

最新的word中的lamda怎么打

1、在电脑中打开需要操作的WORD文档，

在WORD文档中找到需要打出方形或菱形符号的段落文字，并用鼠标点击选中，如下图所示，点击鼠标右键，进入下一页面。

2、首先我们打开需要编辑的word文档。然后点击打开插入中的“符号”，点击选择“其他符号”。然后我们在弹出来的窗口中点击打开“子集”，选择插入“希腊语和科普特语”。

3、用WORD怎么打出矩阵的方法步骤如下：所需工具材料：电脑、office软件步骤打开需要编辑的word文档。步骤点击“插入”标签的“公式”按钮，插入一个新的公式。步骤点击右上角的“矩阵”按钮下面的小三角。

4、打开相应的word文档，将光标定位到需要输入希腊字母米尤μ的位置。点击“插入”菜单，选择“符号”。出现“符号”对话框。点击“符号”选项卡。

5、在电脑桌面上找到任务栏中的搜索栏，在搜索栏中输入“word”并回车，点击搜索结果，打开word应用程序。在随后打开的界面左侧点击需要输入英文上角标的word文档。在接着打开的界面中输入一个英文单词或一个英文句子。

牛顿环试验的不确定估算急!在线等

1、牛顿测量了六个环的半径(在其最亮的部分测量)，发现这样一个规律：亮环半径的平方值是一个由奇数所构成的算术级数，即11，而暗环半径的平方值是由偶数构成的算术级数，即12。

2、相邻条文半径与径向距离的关系，测量数据是按照正态分布的，在给定置信系数的时候可以求出置信区间，这个置信区间就是不确定度。

3、牛顿环的不确定度为u3。将暗环直径的不等精度测量转化为(D、-D)的等精度测量。分析测量方法，对半径R的测量不确定度影响显著的因素主要为直径的测量引起的不确定度u1，读数显微器的仪器误差引起的不确定度u2。

4、计算方法是：先求出每次测量的Dm-Dn的值；再求出8次测量的平均值。在高中物理“求匀变速直线运动物体的加速度”实验中分析纸带。运用公式△X=at^2；X3-X1=X4-X2=Xm-Xm-2。

r语言lasso回归变量怎么筛选

是。单因素就是研究对某个事件或指标的影响因素只有1个。单因素Logistic回归中，因变量只有一个。自变量也只有1个。

根据筛选的最优变量，搭建模型，运用predict()得到预测概率。

它考虑了初期的指数增长以及总资源的限制。其函数形式如下。

首先indicator-last的最后一个类别为参照类，其余每一类与参照类比较；参数编码下的(1)(2)(3)(4)表示4个哑变量，(1)表示器官衰竭数为0的水平与参照类（最后一个水平4-）比较，其余类推，这里1-0=1。

关键词：回归、SASSTAT、共线性、筛选变量、岭回归、主成分回归、偏最小二乘回归。中图分类号：0212；C8文献标识码：A回归分析方法是处理多变量间相依关系的统计方法。它是数理统计中应用最为广泛的方法之一。

然后评估模型的改进情况，并根据模型的性能和复杂程度来选择最终的模型。Lasso回归：Lasso回归是一种正则化方法，它可以将某些自变量的系数缩小到零，从而实现特征选择。在Lasso回归中，可以根据自变量的系数大小来排序变量。

判别分析的应用

1、应用范围1）信息丢失2）直接的信息得不到3）预报4）破坏性实验假设条件1）分组类型在两种以上，且组间样本在判别值上差别明显。2）组内样本数不得少于两个，并且样本数量比变量起码多两个。

2、判别分析首先需要对研究的对象进行分类，然后选择若干对观测对象能够较全面描述的变量，接着按照一定的判别标准建立一个或多个判别函数，使用研究对象的大量资料确定判别函数中的待定系数来计算判别指标。

3、判别分析有Fisher判别，Bayes判别和逐步判别。一般用Fisher判别即可，要考虑概率及误判损失最小的用Bayes判别，但变量较多时，一般先进行逐步判别筛选出有统计意义的变量，再结合实际情况选择用哪种判别方法。

4、判别分析适用于分类数据的分析，及存在某一个变量描述的是样品属于哪个类。主成分分析、因子分析和对应分析对数据一般没有过分的要求，由于均是通过降维的方式来进行分析，所有都要求变量存在一定的相关性。

5、判别分析最基本的要求是：分组类型在两组以上；每组案例的规模必须至少在一个以上。解释变量必须是可测量的，才能够计算其平均值和方差，使其能合理地应用于统计函数。

6、距离判别分析模型示意图3工程应用某矿区地质构造比较复杂，煤层赋存条件为近水平、倾斜和急倾斜多种形式并存，且厚薄不一。在采区向复杂地质构造带和深部延伸的过程中，冲击地压预测预报的问题不断凸现。

CAD中怎么把块添加到工具选项板里

1、利用设计中心往工具选项板中添加图块首先按CTRL+2打开设计中心，CTRL+3打开工具选项板。设计中心有几个选项卡，常用的是前面两个：文件夹和打开文件。

2、先点击CAD2020图标，进入主界面。2/4然后点击“块”选项，如下图。3/4接着点击“拾取点”，选中基点。4/4最后点击插入块，即可完成操作。

3、工具-选项-文件-支持文件搜索路径-添加选择你自己的常用图块文件夹。绘图使用插入INSERT命令时，就可以直接输入你的图块名称，而不用一步步的查找该图块文件名称。

4、计算机打开CAD，然后画出两个独立的图形。画好图形后，输入块命令B，然后确定空格命令。在确定block命令之后，输入block名称，然后单击以选择要由block组成的对象。块体确定后，两个形状形成一个整体。

5、如果CAD上有安装插件的话可以用插件带的零件库，把常用的图块全部添加进去用的时候直接去库了调用即可。

6、不知道楼主用的是什么版本的CAD，06以后的版本这样的问题非常容易实现。方法是使用CAD中的工具选项板（Ctrl+3）。重复插入块时，只需要用鼠标把要重复的块拖拽到选项板上释放，选项板上就会出现这个块的图标。

大数据培训内容,大数据要学哪些课程

大数据专业主要学什么大数据需要学的：Java编程技术；Linux命令；Hadoop；Hive；Avro与Protobuf；ZooKeeper；HBase；phoenix等。

大数据平台的学习是大数据应用技术的重点学习内容之一，大数据平台的学习内容包括大数据平台的部署、调试、维护等内容。目前Hadoop、Spark是比较常见的大数据平台，同时这两个平台也比较适合初学者学习和实验。

1大数据专业有哪些课程大数据专业一，编程语言课程要学习大数据技术，首先要掌握一门基本的编程语言。Java编程语言应用最广泛，所以就业机会会更多，Python编程语言正在高速推广应用，学习Python的就业方向会也有很多。

大数据专业主要学科目如下：数据科学与大数据技术（理学学位），以北京大学为例，主要课程包括：概率论、数理统计，应用多元统计分析，实变函数，应用回归分析，贝叶斯理论与算法。

首先要学习编程语言，学完了编程语言之后，一般就可以进行大数据部分的课程学习了，大数据的专业课程有Linux，Hadoop，Scala，HBase，Hive，Spark等。如果要完整的学习大数据的话，这些课程都是必不可少的。

大数据专业开设的课程有很多，例如高等数学、数理统计、概率论；Python编程、JAVA编程、Web开发、Linux操作系统；面向对象程序设计、数据挖掘、机器学习数据库技术、大数据平台搭建及运维、大数据应用开发、可视化设计与开发等。

• R（Recency）：消费间隔，最近一次距离上次消费的时间间隔

• F（Frequency）：消费频次，一段时间（1个月/1年）内的消费总次数

• M（Monetary）：消费金额，一段时间（1个月/1年）内的消费总金额

      RFM模型是用户价值研究中的经典模型，基于近度（Recency），频度（Frequency）和额度（Monetory）这3个指标对用户进行聚类，找出具有潜在价值的用户, 从而辅助商业决策，提高营销效率。RFM作为一种数据驱动的客户细分技术，可帮助营销人员做出更明智的战略性决策，使营销人员能够快速识别用户并将其细分为同类群体，并针对性制定个性化的营销策略，提高用户的参与度和留存率。

      RFM建模所需要的数据源是相对简单的，只用到了购买记录中的时间和金额这两个字段。我们基于交易数据中用户的最后一次的购买时间，购买的次数以和频率，以及平均/总消费额对每个用户计算了三个维度的标准分。然后我们对于三个维度赋予了不同的权重，再基于加权后的分值应用K-Means进行聚类，根据每种人群三个维度与平均值之间的高低关系，确定哪些是需要保持用户，哪些是需要挽留的用户，哪些是需要发展的用户等。在将这些客户圈出之后，便可以对不同客户群使用不同针对性地营销策略（引导，唤醒等），提高复购率与转化率。值得注意的是，三个维度的权重制定并没有统一的标准，比较通用的方法是用层次分析法(AHP)，实际场景结合行业以及具体公司的特点进行因地制宜、因人而异的优化。

RFM因素：

• R值越高，顾客的有效期越近，对商家活动的响应越积极

• F值越高，顾客的消费频次越高，对商家的忠诚度就越高

• M值越高，顾客的消费能力越高，对商家贡献度就越高

• 想要提高复购率和留存率，需要时刻警惕R值

RFM分析：

• 谁是您最有价值的客户？

• 导致客户流失率增多的是哪些客户？

• 谁有潜力成为有价值的客户？

• 你的哪些客户可以保留

• 您哪些客户最有可能对参与度活动做出响应？

• 谁是你不需要关注的无价值客户？

• 针对哪些客户制定哪种发展、保留、挽回策略？

      通过RFM模型，可以帮助营销人员实现客户细分；衡量客户价值和客户利润创收能力；识别优质客户；指定个性化的沟通和营销服务；为更多的营销决策提供有力支持。

数据导入：使用python的pandasread_csv导入样本数据。

缺失值校验：因数据为生产真实的交易数据，质量相对较高，缺失值较低。

极值校验：第一份样本数据获取的用户订单实付金额，其中会存在优惠或补差支付，同时因就餐人数不一致，产生的的订单消费也会存在较大的差异，造成极致波动、标准差值较大，因此需对金额进行处理，以人均消费额替代订单支付金额，可去掉10元以下、万元以上的交易订单。

获取RFM值：使用 groupby获取RFM值

获取RFM评分值：数据离散，pandascut

实验数据RFM分值占比

说明：F、M分布不均匀，极值差异大，经数据探查知晓该商户开通了企业团餐业务，企业会给员工发放补贴，导致员工呈现较高的消费频次，该类用户的消费行为绝大程度依赖于企业，在实际的RFM模型可踢出此类订单，降低此类人群的分值，其次数据中的M值为客户实付金额，该商户支持预定、会餐、大小桌，同一单的消费群体不同，或可使用人均消费总额作为M值。

RFM数据合并，建立R、F、M数据框：pandas+numpy

计算RFM综合分值：权重法

权重值主要赋值方法可分为主观赋权法、客观赋权法，如下：

主观赋权法：主要由专家经验得到权数，然后对指标进行综合评价。是一种结合性方法，易操作，存在一定主观性。常用方法：层次分析法AHP、权值因子判断表法、德尔菲法、模糊分析法、二项系数法、环比评分法、最小平方法、序关系分析法等。

客观赋权法：依据历史数据研究指标之间的相关关系或指标与评估结果的影响关系来综合评价。这是定量研究，无须考虑决策者主观意愿和业务经验，计算方法较为复杂。常用方法：主成分分析、因子分析、熵值法、变异系数法、均方差法、回归分析法等。

因样本数据分布不均匀，故手动赋权重值，去除部分极值。

结论：以近90天的消费活跃来看，用户消费频次集中在1-6次，呈现出极佳的复购率。可以针对消费一次的人群进行特征分析。比如针对人群的流动性，若流动人群占比较大，可进一步推广特色菜吸引客户，若周边人群占比较高，可基于复购人群的特征进行分析，同时平台可提供该类人群近期消费偏好，供商家参考，制定针对性方案。

      了解RFM定义后，将3个指标作为坐标系的XYZ坐标轴，从空间上切割成8类，作为用户的价值分层，如下图：

用户价值分层说明：

上面我们已经计算得到各个用户的RFM分值，接下来要依据分值进行分类。

定义RFM 的分值等级

使用pyecharts绘制玫瑰图：

结论：商家顾客表现出来的忠诚度较高，但新客获取能力较低。但是单纯看分层占比，并没有实际意义，可以基于价值分层与其他特征关联分析进行精准投放。如下图（网络参考图，本期实验并未涉及其他特征）所示：

      用户画像是基于用户信息与行为衍生出来的特征属性，用户的准入信息是用户的主观特征，是一种既定的事实，通过对用户行为的采集、研究，刻画出单个用户的特征。其意义在于基于某一事物对群里特征进行分类，有效的体现事物的合适人群；同时针对群里特征的偏爱、习惯研究，可以刻画出用户的需求，实现精准化营销。

      用户画像的基础成分来源于用户的准入信息（会员注册时的登记信息），更多的特征数据来源于用户的各类行为，而RFM模型便是基于用户消费行为提炼出来的价值指标。通过对各个价值分层的群体特征研究，可以有效提升获客能力以及针对各类人群实现精准化营销。

      市场和运营往往绞尽脑汁做活动、上新品、蹭热点、做营销，拓渠道，不断开发客户、做回访维系客户感情，除了少数运气好的之外，但大多效果寥寥，这是为何？

      经验丰富的营销人员都知道“了解客户”和“客户细分”的重要性。营销人员不仅要着眼于创造更多的访问量和点击量以提高客户获取，还必须遵循从提高点击率（CTR）转变为提高保留，忠诚度并建立客户关系的新范式。与其将整个客户群作为一个整体进行分析，不如将其划分为同类群体，了解每个群体的特征，并使他们参与相关的活动，而不是仅根据客户年龄或地理位置进行客户细分。而RFM分析是市场营销人员分析客户行为的最流行、最简单、最有效的客户细分方法之一。

针对RFM分层用户制定相应的营销策略:

      • 重要价值客户是您的最佳客户，他们是那些最新购买，最常购买，并且花费最多的消费者。提供VIP服务和个性化服务，奖励这些客户，他们可以成为新产品的早期采用者，并有助于提升您的品牌。

      • 重要发展客户：近期客户，消费金额高，但平均频率不太高，忠诚度不高。提供会员或忠诚度计划或推荐相关产品以实现向上销售并帮助他们成为您的忠实拥护者和高价值客户。

      • 重要保持客户：经常购买、花费巨大，但最近没有购买的客户。向他们发送个性化的重新激活活动以重新连接，并提供续订和有用的产品以鼓励再次购买。

      • 重要挽回客户：曾经光顾，消费金额大，购买频率低，但最近没有光顾的顾客。设计召回策略，通过相关的促销活动或续订带回他们，并进行调查以找出问题所在，避免将其输给竞争对手。

      •一般价值客户：最近购买，消费频次高但消费金额低的客户，需要努力提高其客单价，提供产品优惠以吸引他们。

      • 一般发展客户：最近购买，但消费金额和频次都不高的客户。可提供免费试用以提高客户兴趣，提高其对品牌的满意度。

      • 一般保持客户：很久未购买，消费频次虽高但金额不高的客户。可以提供积分制，各种优惠和打折服务，改变宣传方向和策略与他们重新联系，而采用公平对待方式是最佳。

      • 一般挽留客户：RFM值都很低的客户。针对这类客户可以对其减少营销和服务预算或直接放弃。

      此外，目前的RFM分析中，一般给与M值更高的权重，如果一般挽留客户与一般发展客户占据多数，说明公司的用户结构不是很合理，需要尽快采取措施进行优化。

在人工智能上使用Python编程语言的优势

1优质的文档

2平台无关，可以在现在每一个版本上使用

3和其他面向对象编程语言比学习更加简单快速

4Python有许多图像加强库像Python Imaging Libary,VTK和Maya 3D可视化工具包，Numeric Python, Scientific Python和其他很多可用工具可以于数值和科学应用。

5Python的设计非常好，快速，坚固，可移植，可扩展。很明显这些对于人工智能应用来说都是非常重要的因素。

6对于科学用途的广泛编程任务都很有用，无论从小的shell脚本还是整个网站应用。

7最后，它是开源的。可以得到相同的社区支持。

AI的Python库

总体的AI库

AIMA：Python实现了从Russell到Norvigs的“人工智能：一种现代的方法”的算法

pyDatalog：Python中的逻辑编程引擎

SimpleAI：Python实现在“人工智能：一种现代的方法”这本书中描述过的人工智能的算法。它专注于提供一个易于使用，有良好文档和测试的库。

EasyAI：一个双人AI游戏的python引擎（负极大值，置换表、游戏解决）

机器学习库

PyBrain 一个灵活，简单而有效的针对机器学习任务的算法，它是模块化的Python机器学习库。它也提供了多种预定义好的环境来测试和比较你的算法。

PyML 一个用Python写的双边框架，重点研究SVM和其他内核方法。它支持Linux和Mac OS X。

scikit-learn 旨在提供简单而强大的解决方案，可以在不同的上下文中重用：机器学习作为科学和工程的一个多功能工具。它是python的一个模块，集成了经典的机器学习的算法，这些算法是和python科学包（numpy,scipymatplotlib）紧密联系在一起的。

MDP-Toolkit 这是一个Python数据处理的框架，可以很容易的进行扩展。它海收集了有监管和没有监管的学习算法和其他数据处理单元，可以组合成数据处理序列或者更复杂的前馈网络结构。新算法的实现是简单和直观的。可用的算法是在不断的稳定增加的，包括信号处理方法（主成分分析、独立成分分析、慢特征分析），流型学习方法（局部线性嵌入），集中分类，概率方法（因子分析，RBM),数据预处理方法等等。

自然语言和文本处理库

NLTK 开源的Python模块，语言学数据和文档，用来研究和开发自然语言处理和文本分析。有windows,Mac OSX和Linux版本。

Python势必成为人工智能时代的新宠儿，Python这门学科也将引入大量的学习者，任何行业的成功人士当属那些先行者，人工智能的浪潮还未席卷，选择Python这门学科就是有先见之明。

1、业务

从事数据分析工作的前提就会需要懂业务，即熟悉行业知识、公司业务及流程，最好有自己独到的见解，若脱离行业认知和公司业务背景，分析的结果只会是脱了线的风筝，没有太大的使用价值。

2、管理

一方面是搭建数据分析框架的要求，比如确定分析思路就需要用到营销、管理等理论知识来指导，如果不熟悉管理理论，就很难搭建数据分析的框架，后续的数据分析也很难进行。另一方面的作用是针对数据分析结论提出有指导意义的分析建议。

3、分析

指掌握数据分析基本原理与一些有效的数据分析方法，并能灵活运用到实践工作中，以便有效的开展数据分析。基本的分析方法有：对比分析法、分组分析法、交叉分析法、结构分析法、漏斗图分析法、综合评价分析法、因素分析法、矩阵关联分析法等。高级的分析方法有：相关分析法、回归分析法、聚类分析法、判别分析法、主成分分析法、因子分析法、对应分析法、时间序列等。

4、使用工具

指掌握数据分析相关的常用工具。数据分析方法是理论，而数据分析工具就是实现数据分析方法理论的工具，面对越来越庞大的数据，我们不能依靠计算器进行分析，必须依靠强大的数据分析工具帮我们完成数据分析工作。

5、设计

懂设计是指运用图表有效表达数据分析师的分析观点，使分析结果一目了然。图表的设计是门大学问，如图形的选择、版式的设计、颜色的搭配等等，都需要掌握一定的设计原则。

扩展资料：

数据分析师 是数据师Datician的一种，指的是不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。

这是一个用数据说话的时代，也是一个依靠数据竞争的时代。目前世界500强企业中，有90%以上都建立了数据分析部门。IBM、微软、Google等知名公司都积极投资数据业务，建立数据部门，培养数据分析团队。各国政府和越来越多的企业意识到数据和信息已经成为企业的智力资产和资源，数据的分析和处理能力正在成为日益倚重的技术手段。

—数据分析师

1介绍Introduction

从OpenCV24开始，加入了新的类FaceRecognizer，我们可以使用它便捷地进行人脸识别实验。本文既介绍代码使用，又介绍算法原理。(他写的源代码，我们可以在OpenCV的opencv\modules\contrib\doc\facerec\src下找到，当然也可以在他的github中找到，如果你想研究源码，自然可以去看看，不复杂)

目前支持的算法有

Eigenfaces特征脸createEigenFaceRecognizer()

Fisherfaces createFisherFaceRecognizer()

LocalBinary Patterns Histograms局部二值直方图 createLBPHFaceRecognizer()

下面所有的例子中的代码在OpenCV安装目录下的samples/cpp下面都能找到，所有的代码商用或者学习都是免费的。

12人脸识别Face

Recognition

对人类来说，人脸识别很容易。文献[Tu06]告诉我们，仅仅是才三天的婴儿已经可以区分周围熟悉的人脸了。那么对于计算机来说，到底有多难？其实，迄今为止，我们对于人类自己为何可以区分不同的人所知甚少。是人脸内部特征(眼睛、鼻子、嘴巴)还是外部特征(头型、发际线)对于人类识别更有效我们怎么分析一张图像，大脑是如何对它编码的？David Hubel和TorstenWiesel向我们展示，我们的大脑针对不同的场景，如线、边、角或者运动这些局部特征有专门的神经细胞作出反应。显然我们没有把世界看成零散的块块，我们的视觉皮层必须以某种方式把不同的信息来源转化成有用的模式。自动人脸识别就是如何从一幅图像中提取有意义的特征，把它们放入一种有用的表示方式，然后对他们进行一些分类。基于几何特征的人脸的人脸识别可能是最直观的方法来识别人脸。第一个自动人脸识别系统在[Kanade73]中又描述：标记点(眼睛、耳朵、鼻子等的位置)用来构造一个特征向量(点与点之间的距离、角度等)。通过计算测试和训练图像的特征向量的欧氏距离来进行识别。这样的方法对于光照变化很稳健，但也有巨大的缺点：标记点的确定是很复杂的，即使是使用最先进的算法。一些几何特征人脸识别近期工作在文献[Bru92]中有描述。一个22维的特征向量被用在一个大数据库上，单靠几何特征不能提供足够的信息用于人脸识别。

特征脸方法在文献[TP91]中有描述，他描述了一个全面的方法来识别人脸：面部图像是一个点，这个点是从高维图像空间找到它在低维空间的表示，这样分类变得很简单。低维子空间低维是使用主元分析(Principal

Component

Analysis,PCA)找到的，它可以找拥有最大方差的那个轴。虽然这样的转换是从最佳重建角度考虑的，但是他没有把标签问题考虑进去。[gm:读懂这段需要一些机器学习知识]。想象一个情况，如果变化是基于外部来源，比如光照。轴的最大方差不一定包含任何有鉴别性的信息，因此此时的分类是不可能的。因此，一个使用线性鉴别(Linear

Discriminant Analysis,LDA)的特定类投影方法被提出来解决人脸识别问题[BHK97]。其中一个基本的想法就是，使类内方差最小的同时，使类外方差最大。

近年来，各种局部特征提取方法出现。为了避免输入的图像的高维数据，仅仅使用的局部特征描述图像的方法被提出，提取的特征(很有希望的)对于局部遮挡、光照变化、小样本等情况更强健。有关局部特征提取的方法有盖伯小波(Gabor

Waelets)([Wiskott97])，离散傅立叶变换(DiscreteCosinus

Transform,DCT)([Messer06])，局部二值模式(LocalBinary

Patterns,LBP)([AHP04])。使用什么方法来提取时域空间的局部特征依旧是一个开放性的研究问题，因为空间信息是潜在有用的信息。

13人脸库Face

Database

我们先获取一些数据来进行实验吧。我不想在这里做一个幼稚的例子。我们在研究人脸识别，所以我们需要一个真的人脸图像！你可以自己创建自己的数据集，也可以从这里(http://face-recorg/databases/)下载一个。

AT&TFacedatabase又称ORL人脸数据库，40个人，每人10张照片。照片在不同时间、不同光照、不同表情(睁眼闭眼、笑或者不笑)、不同人脸细节(戴眼镜或者不戴眼镜)下采集。所有的图像都在一个黑暗均匀的背景下采集的，正面竖直人脸(有些有有轻微旋转)。

YaleFacedatabase

A ORL数据库对于初始化测试比较适合，但它是一个简单的数据库，特征脸已经可以达到97%的识别率，所以你使用其他方法很难得到更好的提升。Yale人脸数据库是一个对于初始实验更好的数据库，因为识别问题更复杂。这个数据库包括15个人(14个男人,1个女人)，每一个都有11个灰度图像，大小是320243像素。数据库中有光照变化(中心光照、左侧光照、右侧光照)、表情变化(开心、正常、悲伤、瞌睡、惊讶、眨眼)、眼镜(戴眼镜或者没戴)。

坏消息是它不可以公开下载，可能因为原来的服务器坏了。但我们可以找到一些镜像(比如 theMIT)但我不能保证它的完整性。如果你需要自己剪裁和校准图像，可以阅读我的笔记(bytefishde/blog/fisherfaces)。

ExtendedYale

Facedatabase

B 此数据库包含38个人的2414张，并且是剪裁好的。这个数据库重点是测试特征提取是否对光照变化强健，因为图像的表情、遮挡等都没变化。我认为这个数据库太大，不适合这篇文章的实验，我建议使用ORL数据库。

131 准备数据

我们从网上下了数据，下了我们需要在程序中读取它，我决定使用CSV文件读取它。一个CSV文件包含文件名，紧跟一个标签。

/path/to/imageext;0

假设/path/to/imageext是图像，就像你在windows下的c:/faces/person0/image0jpg。最后我们给它一个标签0。这个标签类似代表这个人的名字，所以同一个人的照片的标签都一样。我们对下载的ORL数据库进行标识，可以获取到如下结果：

/at/s1/1pgm;0

/at/s1/2pgm;0

/at/s2/1pgm;1

/at/s2/2pgm;1

/at/s40/1pgm;39

/at/s40/2pgm;39

想象我已经把图像解压缩在D:/data/at下面，而CSV文件在D:/data/attxt。下面你根据自己的情况修改替换即可。一旦你成功建立CSV文件，就可以像这样运行示例程序：

facerec_demoexe D:/data/attxt

132 Creating the CSV File

你不需要手工来创建一个CSV文件，我已经写了一个Python程序来做这事。

[gm:说一个我实现的方法

如果你会cmd命令，或者称DOS命令，那么你打开命令控制台。假设我们的放在J:下的Faces文件夹下，可以输入如下语句：

J:\Faces\ORL>dir /b/s bmp > attxt

然后你打开attxt文件可能看到如下内容(后面的0，1标签是自己加的)：

。。。。

J:\Faces\ORL\s1\1bmp;0

J:\Faces\ORL\s1\10bmp;0

J:\Faces\ORL\s1\2bmp;0

J:\Faces\ORL\s1\3bmp;0

J:\Faces\ORL\s1\4bmp;0

J:\Faces\ORL\s1\5bmp;0

J:\Faces\ORL\s1\6bmp;0

J:\Faces\ORL\s1\7bmp;0

J:\Faces\ORL\s1\8bmp;0

J:\Faces\ORL\s1\9bmp;0

J:\Faces\ORL\s10\1bmp;1

J:\Faces\ORL\s10\10bmp;1

J:\Faces\ORL\s10\2bmp;1

J:\Faces\ORL\s10\3bmp;1

J:\Faces\ORL\s10\4bmp;1

J:\Faces\ORL\s10\5bmp;1

J:\Faces\ORL\s10\6bmp;1

。。。。

自然还有c++编程等方法可以做得更好，看这篇文章反响，如果很多人需要，我就把这部分的代码写出来。(遍历多个文件夹，标上标签)

]

特征脸Eigenfaces

我们讲过，图像表示的问题是他的高维问题。二维灰度图像pq大小，是一个m=qp维的向量空间，所以一个100100像素大小的图像就是10，000维的图像空间。问题是，是不是所有的维数空间对我们来说都有用？我们可以做一个决定，如果数据有任何差异，我们可以通过寻找主元来知道主要信息。主成分分析(Principal

Component Analysis,PCA)是KarlPearson (1901)独立发表的，而 Harold

Hotelling (1933)把一些可能相关的变量转换成一个更小的不相关的子集。想法是，一个高维数据集经常被相关变量表示，因此只有一些的维上数据才是有意义的，包含最多的信息。PCA方法寻找数据中拥有最大方差的方向，被称为主成分。

数据科学家需要掌握的十大统计技术详解

「数据科学家比程序员擅长统计，比统计学家擅长编程。」本文介绍了数据科学家需要掌握的十大统计技术，包括线性回归、分类、重采样、降维、无监督学习等。

不管你对数据科学持什么态度，都不可能忽略分析、组织和梳理数据的重要性。Glassdoor 网站根据大量雇主和员工的反馈数据制作了「美国最好的 25 个职位」榜单，其中第一名就是数据科学家。尽管排名已经顶尖了，但数据科学家的工作内容一定不会就此止步。随着深度学习等技术越来越普遍、深度学习等热门领域越来越受到研究者和工程师以及雇佣他们的企业的关注，数据科学家继续走在创新和技术进步的前沿。

尽管具备强大的编程能力非常重要，但数据科学不全关于软件工程（实际上，只要熟悉 Python 就足以满足编程的需求）。数据科学家需要同时具备编程、统计学和批判思维能力。正如 Josh Wills 所说：「数据科学家比程序员擅长统计学，比统计学家擅长编程。」我自己认识很多软件工程师希望转型成为数据科学家，但是他们盲目地使用 TensorFlow 或 Apache Spark 等机器学习框架处理数据，而没有全面理解其背后的统计学理论知识。因此他们需要系统地研究统计机器学习，该学科脱胎于统计学和泛函分析，并结合了信息论、最优化理论和线性代数等多门学科。

为什么学习统计学习？理解不同技术背后的理念非常重要，它可以帮助你了解如何使用以及什么时候使用。同时，准确评估一种方法的性能也非常重要，因为它能告诉我们某种方法在特定问题上的表现。此外，统计学习也是一个很有意思的研究领域，在科学、工业和金融领域都有重要的应用。最后，统计学习是训练现代数据科学家的基础组成部分。统计学习方法的经典研究主题包括：

线性回归模型

感知机

k 近邻法

朴素贝叶斯法

决策树

Logistic 回归于最大熵模型

支持向量机

提升方法

EM 算法

隐马尔可夫模型

条件随机场

之后我将介绍 10 项统计技术，帮助数据科学家更加高效地处理大数据集的统计技术。在此之前，我想先厘清统计学习和机器学习的区别：

机器学习是偏向人工智能的分支

统计学习方法是偏向统计学的分支。

机器学习更侧重大规模应用和预测准确率。

统计学系侧重模型及其可解释性，以及精度和不确定性。

二者之间的区别越来越模糊。

1 线性回归

在统计学中，线性回归通过拟合因变量和自变量之间的最佳线性关系来预测目标变量。最佳拟合通过尽量缩小预测的线性表达式和实际观察结果间的距离总和来实现。没有其他位置比该形状生成的错误更少，从这个角度来看，该形状的拟合是「最佳」。线性回归的两个主要类型是简单线性回归和多元线性回归。

简单线性回归使用一个自变量通过拟合最佳线性关系来预测因变量的变化情况。多元线性回归使用多个自变量通过拟合最佳线性关系来预测因变量的变化趋势。

任意选择两个日常使用且相关的物体。比如，我有过去三年月支出、月收入和每月旅行次数的数据。现在我需要回答以下问题：

我下一年月支出是多少？

哪个因素（月收入或每月旅行次数）在决定月支出方面更重要

月收入和每月旅行次数与月支出之间是什么关系？

2 分类

分类是一种数据挖掘技术，为数据分配类别以帮助进行更准确的预测和分析。分类是一种高效分析大型数据集的方法，两种主要的分类技术是：logistic 回归和判别分析（Discriminant Analysis）。

logistic 回归是适合在因变量为二元类别的回归分析。和所有回归分析一样，logistic 回归是一种预测性分析。logistic 回归用于描述数据，并解释二元因变量和一或多个描述事物特征的自变量之间的关系。logistic 回归可以检测的问题类型如下：

体重每超出标准体重一磅或每天每抽一包烟对得肺癌概率（是或否）的影响。

卡路里摄入、脂肪摄入和年龄对心脏病是否有影响（是或否）？

在判别分析中，两个或多个集合和簇等可作为先验类别，然后根据度量的特征把一个或多个新的观察结果分类成已知的类别。判别分析对每个对应类中的预测器分布 X 分别进行建模，然后使用贝叶斯定理将其转换成根据 X 的值评估对应类别的概率。此类模型可以是线性判别分析（Linear Discriminant Analysis），也可以是二次判别分析（Quadratic Discriminant Analysis）。

线性判别分析（LDA）：为每个观察结果计算「判别值」来对它所处的响应变量类进行分类。这些分值可以通过找到自变量的线性连接来获得。它假设每个类别的观察结果都从多变量高斯分布中获取，预测器变量的协方差在响应变量 Y 的所有 k 级别中都很普遍。

二次判别分析（QDA）：提供另外一种方法。和 LDA 类似，QDA 假设 Y 每个类别的观察结果都从高斯分布中获取。但是，与 LDA 不同的是，QDA 假设每个类别具备自己的协方差矩阵。也就是说，预测器变量在 Y 的所有 k 级别中不是普遍的。

3 重采样方法

重采样方法（Resampling）包括从原始数据样本中提取重复样本。这是一种统计推断的非参数方法。即，重采样不使用通用分布来逼近地计算概率 p 的值。

重采样基于实际数据生成一个独特的采样分布。它使用经验性方法，而不是分析方法，来生成该采样分布。重采样基于数据所有可能结果的无偏样本获取无偏估计。为了理解重采样的概念，你应该先了解自助法（Bootstrapping）和交叉验证（Cross-Validation）：

自助法（Bootstrapping）适用于多种情况，如验证预测性模型的性能、集成方法、偏差估计和模型方差。它通过在原始数据中执行有放回取样而进行数据采样，使用「未被选中」的数据点作为测试样例。我们可以多次执行该操作，然后计算平均值作为模型性能的估计。

交叉验证用于验证模型性能，通过将训练数据分成 k 部分来执行。我们将 k-1 部分作为训练集，「留出」的部分作为测试集。将该步骤重复 k 次，最后取 k 次分值的平均值作为性能估计。

通常对于线性模型而言，普通最小二乘法是拟合数据时主要的标准。下面 3 个方法可以提供更好的预测准确率和模型可解释性。

4 子集选择

该方法将挑选 p 个预测因子的一个子集，并且我们相信该子集和所需要解决的问题十分相关，然后我们就能使用该子集特征和最小二乘法拟合模型。

最佳子集的选择：我们可以为 p 个预测因子的每个组合拟合单独的 OLS 回归，然后再考察各模型拟合的情况。该算法分为两个阶段：（1）拟合包含 k 个预测因子的所有模型，其中 k 为模型的最大长度；（2）使用交叉验证预测损失选择单个模型。使用验证或测试误差十分重要，且不能简单地使用训练误差评估模型的拟合情况，这因为 RSS 和 R^2 随变量的增加而单调递增。最好的方法就是通过测试集中最高的 R^2 和最低的 RSS 来交叉验证地选择模型。

前向逐步地选择会考虑 p 个预测因子的一个较小子集。它从不含预测因子的模型开始，逐步地添加预测因子到模型中，直到所有预测因子都包含在模型。添加预测因子的顺序是根据不同变量对模型拟合性能提升的程度来确定的，我们会添加变量直到再没有预测因子能在交叉验证误差中提升模型

后向逐步选择先从模型中所有 p 预测器开始，然后迭代地移除用处最小的预测器，每次移除一个。

混合法遵循前向逐步方法，但是在添加每个新变量之后，该方法可能还会移除对模型拟合无用的变量。

5 Shrinkage

这种方法涉及到使用所有 p 个预测因子进行建模，然而，估计预测因子重要性的系数将根据最小二乘误差向零收缩。这种收缩也称之为正则化，它旨在减少方差以防止模型的过拟合。由于我们使用不同的收缩方法，有一些变量的估计将归零。因此这种方法也能执行变量的选择，将变量收缩为零最常见的技术就是 Ridge 回归和 Lasso 回归。

Ridge 回归非常类似于最小二乘法，只不过它通过最小化一个稍微不同的数值来估计系数。Ridge 回归和 OLS 一样寻求减少 RSS 的系数估计。然而当系数收缩逼近零值时，它们都会对这种收缩进行惩罚。我们不需要数学分析就能看出 Ridge 回归很擅长于将特征收缩到最小的可能空间中。如主成分分析，Ridge 回归将数据投影到 D 维空间，并在系数空间内收缩较低方差的成分而保留有较高方差的成分

Ridge 回归至少有一个缺点，它需要包含最终模型所有 p 个预测因子，这主要是因为罚项将会令很多预测因子的系数逼近零，但又一定不会等于零。这对于预测准确度来说通常并不是什么问题，但却令模型的结果更难以解释。Lasso 就克服了这一缺点，因为它在 s 组后小的时候能迫使一些预测因子的系数归零。因为 s = 1 将导致正规的 OLS 回归，而当 s 逼近 0 时，系数将收缩到零。因此 Lasso 回归同样是执行变量选择的一个好方法。

6 降维

降维算法将 p+1 个系数的问题简化为 M+1 个系数的问题，其中 M<p。算法执行包括计算变量的 M 个不同线性组合或投射（projection）。然后这 M 个投射作为预测器通过最小二乘法拟合一个线性回归模型。两个主要的方法是主成分回归（principal component regression）和偏最小二乘法（partial least squares）。

主成分回归（PCR）可以看成一种从大型变量集合中导出低维特征集合的方法。数据中的第一主成分（first principal component）是指观察数据沿着这个变量方向的变化最大。换言之，第一主成分是最接近拟合数据的线，总共可以用 p 个不同的主成分拟合。第二主成分是和第一主成分不相关的变量的线性组合，且在该约束下有最大的方差。其主要思想是主成分能在各个互相垂直的方向使用数据的线性组合捕捉到最大的方差。使用这种方法，我们还能结合相关变量的效应从数据中获取更多的信息，毕竟在常规的最小二乘法中需要舍弃其中一个相关变量。

上面描述的 PCR 方法需要提取 X 的线性组合，以获得对的预测器的最优表征。由于 X 的输出 Y 不能不能用于帮助决定主成分方向，这些组合（方向）使用无监督方法提取。即，Y 不能监督主成分的提取，从而无法保证这些方向是预测器的最优表征，也无法保证能获得最优预测输出（虽然通常假定如此）。偏最小二乘法（PLS）是一种监督方法，作为 PCR 的代替方法。和 PCR 类似，PLS 也是一种降维方法，它首先提取一个新的较小的特征集合（原始特征的线性组合），然后通过最小二乘法将原来的模型拟合为一个新的具有 M 个特征的线性模型。

7 非线性模型

在统计学中，非线性回归属于一种回归分析形式，其中，观测数据使用模型参数的非线性组合的函数（依赖于一个或多个独立变量）建模。其使用逐次逼近法拟合数据。下方是几种处理非线性模型的重要技术。

阶梯函数（step function），变量为实数，可以写成区间的指示函数的有限线性组合的形式。非正式的解释是，阶梯函数是一种分段常数函数，只有有限的部分。

分段函数（piecewise function）通过多个子函数定义，每一个子函数被定义在主函数定义域的确定的区间上。分段实际上是一种表示函数的方式，而不是函数自身的特征，但通过额外的限定条件，它可以用于描述函数的本质。例如，一个分段多项式函数是一个在每一个子定义上为多项式的函数，其中每一个多项式都可能是不同的。

样条曲线（spline）是一种用多项式分段定义的特殊函数。在计算机图形学中，样条曲线是一种分段多项式参数化曲线。由于结构的简单性、评估的简易和高精度、通过曲线拟合和交互曲线设计以逼近复杂曲线的能力，样条曲线很常用。

广义加性模型（generalized additive model）是一种广义线性模型，其中线性预测器线性依赖于某些预测器变量的未知平滑函数，其主要作用就是推测这些平滑函数

8 基于树的方法

基于树的方法可以用于回归和分类问题，包括将预测器空间分层或分割成几个简单区域。由于用于预测器空间的分离规则集合可以总结为一个树，这类方法被称为决策树方法。以下的方法是几种不同的树，它们可以组合起来输出单个一致的预测。

bagging 能减少预测的方差，即通过从原始数据中生成额外的数据（通过组合和重复生成和原始数据大小相同的多段数据）用于训练。通过增大训练集无法提高模型的预测能力，只能减小方差，仔细地调整预测以得到期望的输出。

boosting 是一种计算输出的方法，即使用多个不同的模型，然后使用加权平均的方法对结果取平均值。我们一般通过改变这些方法所占的权重而结合各方法的优势，此外，我们还可以使用不同的精细调整获得对更宽泛输入数据的预测能力。

随机森林算法（random forest algorithm）实际上和 bagging 算法很相似，同样是对训练集提取随机 bootstrap 样本。然而，除了 bootstrap 样本以外，还可以提取特征的随机子集以训练单个树；而在 bagging 中，需要给每个树提供整个特征集。由于特征选择是随机的，相比常规的 bagging 算法，每个树之间更加独立，从而通常能获得更好的预测性能（得益于更好的方差—偏差权衡）。且计算速度也更快，因为每个树只需要学习特征的一个子集。

9 支持向量机

支持向量机（SVM）是一种常用的监督学习分类技术。通俗地说，它用于寻找对两类点集做出最佳分离的超平面（hyperplane，在 2D 空间中是线，在 3D 空间中是面，在高维空间中是超平面。更正式的说法是，一个超平面是一个 n 维空间的 n-1 维子空间）。而支持向量机是保留最大的间隔的分离超平面，因此本质上，它是一个约束最优化问题，其中支持向量机的间隔在约束下被最大化，从而完美地对数据进行分类（硬间隔分类器）。

那些「支持」着超平面的数据点被称为「支持向量」。在上图中，填充蓝色圆和两个填充方块就是支持向量。在两类数据不是线性可分的例子中，数据点将被投射到一个更高维空间中，使得数据变得线性可分。包含多个类别的数据点的问题可以分解成多个「一对一」（one-versus-one）或「一对剩余」（one-versus-rest）的二分类问题。

10 无监督学习

目前为止，我们都只讨论过监督学习技术，其中数据分类都是已知的，且提供给算法的经验都是实体和其分类的关系。当数据的分类是未知的时候，就需要使用另一种技术了。它们被称为无监督的，因为它们需要自己去发现数据中的模式。聚类（clustring）是无监督学习的一种，其中数据将根据相关性被分为多个群集。下方是几种最常用的无监督学习算法：

主成分分析：通过保留具备最大方差和互相不相关的特征之间的线性连接，而帮助生成数据集的低维表示。该线性降维技术有助于理解无监督学习中的隐变量交互。

k 均值聚类：根据数据到集群中心的距离将其分成 k 个不同的集群。

层次聚类：通过数据的层级表示而构建不同的集群。