EM算法系列(二)-Jenson不等式

EM算法的推导过程中用到的一个很重要的不等式就是琴生不等式（Jenson inequality），相信大家在高等数学的课程中都学习过这个不等式，这里只简单回顾一下这个不等式的性质：

设f是定义域为实数的函数，如果对于所有的实数x。如果对于所有的实数x，f(x)的二次导数大于等于0，那么f是凸函数。当x是向量时，如果其hessian矩阵H是半正定的，那么f是凸函数。如果只大于0，不等于0，那么称f是严格凸函数。

Jensen不等式表述如下：

如果f是凸函数，X是随机变量，那么：E[f(X)]>=f(E[X])

特别地，如果f是严格凸函数，当且仅当X是常量时，上式取等号。

如果用图表示会很清晰：

图中，实线f是凸函数，X是随机变量，有05的概率是a，有05的概率是b。（就像掷硬币一样）。X的期望值就是a和b的中值了，图中可以看到E[f(X)]>=f(E[X])成立。

当f是（严格）凹函数当且仅当-f是（严格）凸函数。

Jensen不等式应用于凹函数时，不等号方向反向。

矩阵的分解是矩阵相关运算中的重要内容，MATLAB提供了用于矩阵分解运算的多种函数。本节将集中介绍MATLAB所提供的矩阵分解运算函数的功能及使用。

矩阵的三角分解又称高斯消去法分解，它的目的是将一个矩阵分解成一个下三角矩阵L和一个上三角矩阵U的乘积，即A=LU。MATLAB提供了专门的函数lu来计算矩阵的LU分解。该函数的调用格式如下：

其中，返回矩阵U为上三角阵，矩阵L为下三角阵或其变换形式，且满足LU=X。返回矩阵P为单位矩阵的行变换矩阵，满足LU=PX。

奇异值分解在矩阵分析中占有极其重要的作用。MATLAB提供了用于矩阵奇异值分解的函数svd，该函数是利用LINPACK程序库中的ZSVDC编制而成的。在计算的过程中假如经过75步QR分解仍得不到一个奇异值，那么系统会给出“不收敛”的提示。奇异值分解函数svd的几种调用格式如下：

其中，命令①返回向量s包含矩阵X分解所得到的全部奇异值向量。命令② 返回一个与X同大小的对角矩阵S和两个酉矩阵U与V，且满足= U S V'。命令③ 得到一个“有效大小”的分解，如果m×n维矩阵X中m>n则只计算出矩阵U的前n列，矩阵S的大小为n×n。

MATLAB提供了eig函数来对矩阵进行特征值分解，该函数的几种调用格式如下：

其中，①计算矩阵A的特征值d，返回结果以向量形式存放。②计算方阵A和B的广义特征值d，返回结果以向量形式存放。③计算矩阵A的特征值对角阵D和特征向量阵V，使AV=VD成立。④计算矩阵A的特征值对角阵D和特征向量阵V，使AV=VD成立。当矩阵A中有与截断误差数量级相差不远的值时，该指令可能更精确。'nobalance'起误差调节作用。⑤计算矩阵A和B的广义特征值向量阵V和广义特征值阵D，满足AV=BVD。最后一条命令⑥由flag指定算法计算矩阵A和B的特征值D和特征向量V。其中，flag的可能值为：'chol' 和'qz' 。当flag值为'chol'时表示对B使用Cholesky分解算法，其中A为对称Hermitian矩阵，B为正定阵。当flag值为'qz'时表示使用QZ算法，其中A、B为非对称或非Hermitian矩阵。

MATLAB提供了chol函数来对矩阵进行Cholesky分解，该函数的调用格式为：

函数调用格式①如果X为n阶对称正定矩阵，则存在一个实的非奇异上三角阵R，满足R'R = X；若X非正定，则产生错误信息。②不产生任何错误信息，若X为正定阵，则p=0，R与上相同；若X非正定，则p为正整数，R是有序的上三角阵。

正交矩阵是指矩阵的列向量相互正交，且各个列向量的长度相等。QR分解就是将矩阵A分解成一个正交矩阵与一个上三角矩阵的乘积。MATLAB提供了用于矩阵QR分解的函数，表37中介绍用于矩阵QR分解的函数调用格式和功能。

表37 矩阵QR分解

Schur分解将使用schur函数，该函数的调用格式为：

命令行①-③返回正交矩阵U和schur矩阵T，满足A = U T U'。其中，若A有复特征根，则flag='complex'，否则flag='real'。

即使是实阵，在其特征值中也可能出现复数。实际使用中常需要把这一对对共轭复数特征值转化为一个（2x2）的实数块。函数调用格式为：

MATLAB提供了gsvd函数对矩阵进行广义奇异值分解，其具体调用格式为：

其中，函数调用格式①返回酉矩阵U和V、一个普通方阵X、非负对角矩阵C和S，满足A = U C X'，B = V S X'，C' C + S' S = I (I为单位矩阵)。A和B的列数必须相同，行数可以不同。函数调用格式②和①基本相同，而③则返回广义奇异值sigma值。

MATLAB提供了qz函数对矩阵进行特征值问题的QZ分解，该函数的调用格式为：

其中函数调用格式①中A、B为方阵，返回结果AA和BB为上三角阵，Q、Z为正交矩阵或其列变换形式，V为特征向量阵，且满足Q A Z= AA 和Q B Z = BB。命令行②产生由flag决定的分解结果，flag取值为'complex'表示复数分解（默认）；取值为'real'表示实数分解。

如果矩阵H的第一子对角线下元素都是0，则H为海森伯格(Hessenberg)矩阵。如果矩阵是对称矩阵，则它的海森伯格形式是对角三角阵。MATLAB可以通过相似变换将矩阵变换成这种形式，具体调用格式为：