【统计学习方法】第1章 统计学习方法概论（三）习题

题目：

说明伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素。伯努利模型是定义在取值为0与1的随机变量上的概率分布。假设观测到伯努利模型n次独立的数据生成结果，其中k次的结果为1，这时可以用极大似然估计或贝叶斯估计来估计结果为1的概率。

解答：

1 极大似然估计

模型：

策略：最大似然估计

算法：

2 贝叶斯估计

模型：

策略：求参数期望

算法：

• 伯努利模型的极大似然估计：
  

定义P(Y=1)概率为p，可以得到似然函数：

可以得到p的值为0，1，k/n

• 伯努利模型的贝叶斯估计

定义  的概率为  ,  在[0, 1]之间的的取值是等概率的，因此先验概率密度  ，可以得到似然函数，

根据似然函数和先验概率密度函数，可以求解  的条件概率密度函数：

所以  的期望为：

所以，

题目：

通过经验风险模型最小化推导极大似然估计。证明模型是条件概率分布，当损失函数是对数损失函数时，经验风险最小化等价于极大似然估计。

解答：

假设模型的条件概率分布是  ,现推导当损失函数是对数损失函数时，极大似然估计等价于经验风险最小化。

极大似然估计的似然函数为：

两边取对数，

反之，经验风险最小化等价于极大似然估计，可通过经验风险最小化推导极大似然估计。

扫码关注