碼迷,www.tparu.icu
吉利平特名人堂 > 編程語言 > 詳細

绝杀一肖不出平特:EM算法的基本原理和推導

時間:2018-08-20 00:28:07      閱讀:7975      評論:0      收藏:0      [點我收藏+]

吉利平特名人堂 www.tparu.icu 標簽:str   分享   證明   png   基本原理   下界   最大   class   arch   

參考: 

從最大似然到EM算法淺解

(EM算法)The EM Algorithm

EM算法的九層境界:Hinton和Jordan理解的EM算法

 

在EM算法的證明中,其實比較好理解,總結如下:

從最大似然估計出發 ====>  將隱變量暴露出來,寫出累加/積分的 形式 ===> 引入Q(z),表示隱變量z的概率密度函數

==> 對于log函數,利用 Jensen不等式的變形:  f(E(x)  >= E(f(x)),得到最大似然函數的下界 

===> 對于log函數的Jenson不等式而言,只有當 X的變量取常量時,則可以不等式才能取到等號;

則得到等式;

以上的過程如下:

技術分享圖片

技術分享圖片

技術分享圖片

技術分享圖片

技術分享圖片

具體的計算過程如下:

技術分享圖片

技術分享圖片

固定好了Q(z),再去調整參數 Θ ,使得下界最大,如下圖所示:

技術分享圖片

技術分享圖片

收斂性的證明:見參考一或吳恩達的課程

技術分享圖片

技術分享圖片

--------------------

--------------------

EM算法的基本原理和推導

標簽:str   分享   證明   png   基本原理   下界   最大   class   arch   

原文地址:https://www.cnblogs.com/vincentbnu/p/9503284.html

(0)
(0)
   
舉報
評論 一句話評論(0
登錄后才能評論!
? 2014 吉利平特名人堂 版權所有 京ICP備13008772號-2
迷上了代碼!
排3组六6码最大遗漏 三中三稳赚方法技巧 竞猜足球比分直播 老虎机怎么玩 规则 1 3 8 24 72倍投 免费黑客棋牌透牌器合集 三分pk10稳赚技巧方案 福彩3d组6复试 时时彩技巧软件 必赢客北京pk拾 11选5三胆拖四多少钱 三星组选包胆怎么玩 3d组三五码遗漏 电子游戏娱乐 麻将怎么胡牌 捕鱼达人2最老版本