em算法 订阅
最大期望算法(Expectation-Maximization algorithm, EM),或Dempster-Laird-Rubin算法 [1]  ,是一类通过迭代进行极大似然估计(Maximum Likelihood Estimation, MLE)的优化算法 [2]  ,通常作为牛顿迭代法(Newton-Raphson method)的替代用于对包含隐变量(latent variable)或缺失数据(incomplete-data)的概率模型进行参数估计 [2-3]  。EM算法的标准计算框架由E步(Expectation-step)和M步(Maximization step)交替组成,算法的收敛性可以确保迭代至少逼近局部极大值 [4]  。EM算法是MM算法(Minorize-Maximization algorithm)的特例之一,有多个改进版本,包括使用了贝叶斯推断的EM算法、EM梯度算法、广义EM算法等 [2]  。由于迭代规则容易实现并可以灵活考虑隐变量 [3]  ,EM算法被广泛应用于处理数据的缺测值 [1-2]  ,以及很多机器学习(machine learning)算法,包括高斯混合模型(Gaussian Mixture Model, GMM) [5]  和隐马尔可夫模型(Hidden Markov Model, HMM) [6]  的参数估计。 展开全文
最大期望算法(Expectation-Maximization algorithm, EM),或Dempster-Laird-Rubin算法 [1]  ,是一类通过迭代进行极大似然估计(Maximum Likelihood Estimation, MLE)的优化算法 [2]  ,通常作为牛顿迭代法(Newton-Raphson method)的替代用于对包含隐变量(latent variable)或缺失数据(incomplete-data)的概率模型进行参数估计 [2-3]  。EM算法的标准计算框架由E步(Expectation-step)和M步(Maximization step)交替组成,算法的收敛性可以确保迭代至少逼近局部极大值 [4]  。EM算法是MM算法(Minorize-Maximization algorithm)的特例之一,有多个改进版本,包括使用了贝叶斯推断的EM算法、EM梯度算法、广义EM算法等 [2]  。由于迭代规则容易实现并可以灵活考虑隐变量 [3]  ,EM算法被广泛应用于处理数据的缺测值 [1-2]  ,以及很多机器学习(machine learning)算法,包括高斯混合模型(Gaussian Mixture Model, GMM) [5]  和隐马尔可夫模型(Hidden Markov Model, HMM) [6]  的参数估计。
信息
外文名
Expectation Maximization algorithm, EM
提出时间
1977年
提出者
Arthur Dempster,Nan Laird,
类    型
优化算法
 
Donald Rubin 等
中文名
最大期望算法
应    用
数据分析,机器学习
最大期望算法历史
对EM算法的研究起源于统计学的误差分析(error analysis)问题。1886年,美国数学家Simon Newcomb在使用高斯混合模型(Gaussian Mixture Model, GMM)解释观测误差的长尾效应时提出了类似EM算法的迭代求解技术 [7]  。在极大似然估计(Maximum Likelihood Estimation, MLE)方法出现后,英国学者Anderson McKendrick在1926年发展了Newcomb的理论并在医学样本中进行了应用 [8]  。1956年,Michael Healy和Michael Westmacott提出了统计学试验中估计缺失数据的迭代方法 [9]  ,该方法被认为是EM算法的一个特例 [2]  。1970年,B. J. N. Blight使用MLE对指数族分布的I型删失数据(Type I censored data)进行了讨论 [10]  。Rolf Sundberg在1971至1974年进一步发展了指数族分布样本的MLE并给出了迭代计算的完整推导 [11-12]  。EM算法的正式提出来自美国数学家Arthur Dempster、Nan Laird和Donald Rubin,其在1977年发表的研究对先前出现的作为特例的EM算法进行了总结并给出了标准算法的计算步骤,EM算法也由此被称为Dempster-Laird-Rubin算法 [1]  [2]  。1983年,美国数学家吴建福(C.F. Jeff Wu)给出了EM算法在指数族分布以外的收敛性证明 [4]  。此外,在二十世纪60-70年代对隐马尔可夫模型(Hidden Markov Model, HMM)的研究中,Leonard E. Baum提出的基于MLE的HMM参数估计方法,即Baum-Welch算法(Baum-Welch algorithm)也是EM算法的特例之一 [6]  [13-14]  。
收起全文
精华内容
下载资源
问答

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 44,329
精华内容 17,731
关键字:

em算法

友情链接: retbrn_updabe.rar