浅谈先验分布和后验分布

   

    

     

      

       

        
本文约1300字，建议阅读7分钟
        
本文通过二项式分布的例子来形象的表达如何选择先验分布和计算后验分布，并阐述了先验分布和后验分布是如何转换的，最后对本文进行总结。
       
      
     
    
   

【例】用一个二值随机变量x表示抛硬币的结果，1表示正面，0表示反面。假设该硬币的正反两面的概率不相同，且正面概率为参数u，若抛掷N次，正面向上的次数为m，反面向上的此时为l。求（1）参数u的后验概率分布，（2）若连续抛掷硬币，求先验分布和后验分布参数的关系，（3）正面向上的概率

解：（1）多次抛硬币符合二项式分布，正面向上次数为m的概率为：

为了满足共轭先验的条件，参数u的先验分布也应与似然函数的分布相同。即选择参数u的先验分布为beta分布，如下：

等式右边的系数部分是为了满足先验分布的标准化，即：

参数u的先验分布的期望：

后验分布等于前验分布和似然函数的乘积，并对该结果进行标准化，得到该参数的后验分布。

后验分布形式：

标准化后的结果：

（2）连续抛掷硬币时，当前的参数分布为先验分布，与新采样数据的似然函数进行乘积，再对该结果进行标准化。容易知道，后验分布的形式保持不变，指数发生变化。

比较数据集似然函数的二项式分布和beta分布，可知a表示正面向上的次数，b表示反面向上的次数，由（1）的后验概率分布可知，当新数据的抛掷结果为m次正面向上，l次反面向上，那么后验概率分布的指数表示m+a次正面向上，l+b次反面向上，以此递推。

若a=1，b=1，参数u的先验分布为：

当观测新数据为1次正面向上(m=1)，2次反面向上(l=2)，则后验分布的指数表示2次正面向上，3次反面向上。

后验分布如下图：

（3）根据贝叶斯的求和准则与求积准则，参数u的分布采用后验分布，得：

参考先验分布的参数u的期望，可得后验分布：

参考：

Christopher M.Bishop <<Pattern Reconition and Machine Learning>>