EM算法
EM算法（Expectation-maximization），又称最大期望算法，是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计（或极大后验概率估计）
从定义可知，该算法是用来估计参数的，这里约定参数为 
。既然是迭代算法，那么肯定有一个初始值，记为 
，然后再通过算法计算 
通常，当模型的变量都是观测变量时，可以直接通过极大似然估计法，或者贝叶斯估计法估计模型参数。但是当模型包含隐变量时，就不能简单的使用这些估计方法
举个具体的栗子：
永远在你身后：Matplotlib输出动画实现K-means聚类过程可视化?zhuanlan.zhihu.com
K-means算法中，除了给定的样本（也就是观测变量） 
以及参数 （也就是那些个聚类的中心）之外，还包含一个隐变量（记为 
），它是每个样本的所属类别
可以理解为，我们之所以对一批样本进行聚类，也是因为认为这些样本是有它们潜在的类别的，也就是说还有一个隐变量是我们没有（或者无法）观测到的
下面先给出EM算法的步骤公式，然后再对公式进行推导。假设在第 
次迭代后参数的估计值为 
，对于第 
次迭代，分为两步
- E步，求期望：
关于的随机变量的函数的期望，公式在后面会给出
- M步，最大化：
其中， 
称为 
函数，是EM算法的核心。下面就来对公式进行推导
给定一组观测数据记为 
，以及参数 。因为 
是独立同分布，所以有以下对数似然函数：
可以通过极大似然估计来求解最优参数，即：
但是由于隐变量的存在， 
变为
注意：联合概率公式 P(XZ)=P(X|Z)P(Z)
这样直接求解就变得困难，一个办法是构造一个容易优化的——关于对数似然函数的——下界函数，通过不断的优化这个下界，迭代逼近最优参数。为了方便下面推导流畅，提前先贴几个公式
随机变量的数学期望
随机变量函数的数学期望。设 
，则 
的期望为：
下面是具体的推导。首先引入隐变量 的概率分布 
，满足
并且以下等式成立
两边同时取对数
同时求两边在 上的期望
因为 与 无关，所以求期望仍然不变：
然后将右边展开
由此得到对数似然函数的下界。并且当 
，上式可以取到等号，由相对熵的性质可知，相对熵为0，也就是 
其中 是 的概率分布，但是因为无法观测 ，所以 未知，可以假设其等于 
，也就是 关于给定 
与 的后验，且 是由初始值 一次次迭代计算而来，所以此处的 是迭代 次后的值
然后通过极大似然估计得到：
以上，就是EM算法中E步的由来，然后令 
，就得到了M步的公式
以上就是EM算法的推导过程，为了加深理解，我们可以换一个角度来总结一下。前面我们定义了似然函数
由于累加号嵌套在 
函数中，难以直接进行求解，如果换一个似然函数，就容易的多
但是，又由于的 是隐变量，无法得到它的概率分布，只能通过给定的 和 来计算它的后验分布，然后求似然函数在此分布上的期望
最后，再寻找能使似然函数的期望最大化的参数
