supermind logo
同花顺logo

二项比例的贝叶斯分析方法

用户头像数学算法大哥
2023-03-13 发布

在上一篇关于贝叶斯统计的文章中，我们探讨了贝叶斯规则，并讨论了如何在新证据出现时理性地更新对不确定性的信念。这些技术在数据科学和量化金融领域变得极其重要。在本文中，我们将通过讨论伯努利试验和贝塔分布的概念来扩展我们在上一篇文章中研究的硬币翻转示例。我们的目标是进行所谓的“二项比例推断”，即估计具有两种结果的概率情况下出现某种结果的比例。对二项比例的推断是一项极为重要的统计技术，并将构成接下来许多关于贝叶斯统计的文章的基础。

我们将通过一个硬币翻转的实际例子来说明如何使用贝叶斯统计来推断二项比例。这听起来很学术，但它在许多现实世界的应用中非常有用，比如估算制造后涡轮叶片结构缺陷的比例、估计回答人口普查问题“是”的比例、在医学中估计服用实验药物治疗疾病后完全康复的患者比例等等。我们的目的是估计一枚硬币的公平程度，以便在未来掷硬币时预测它将出现多少次。随着我们逐步推进，我们将探讨如何更加准确地估计比例，并通过减少不确定性来提高我们的确定性。

  1. 贝叶斯方法

    如前所述，我们的目标是评估硬币的公平性。一旦我们对硬币的公平性有了评估，我们就可以用这个评估来预测未来掷硬币的结果。

    贝叶斯方法有以下步骤：

    假设 - 我们假设硬币有两个结果（即正面或反面），翻转将是随机的，并且彼此是完全独立的。硬币的公平性也是固定的，即它不会随着时间而改变。我们将用参数θ表示硬币的公平性。

    先验信念 - 为了进行贝叶斯分析，我们必须量化我们对硬币公平性的先验信念。这意味着我们必须对这种公平性的信念进行概率分布的描述。我们将使用一种称为贝塔分布的相对灵活的概率分布来模拟我们的信念。

    实验数据 - 我们将模拟一定次数的抛硬币并记录数据。我们将计算在硬币进行N次翻转时，正面朝上出现的次数z。考虑到硬币的特殊公平性θ，我们还需要一种方法来确定这种结果出现的概率。为此，我们需要讨论似然函数，特别是伯努利似然函数。

    后验信念 - 一旦我们有了先验信念和似然函数，我们就可以使用贝叶斯规则计算关于硬币公平性的后验信念。我们将我们以前的信念与我们观察到的数据相结合，并相应地更新我们的信念。幸运地是，如果我们使用贝塔分布作为先验和伯努利似然，我们也可以得到贝塔分布作为后验。这些被称为共轭先验。

    推断 - 一旦我们有了一个后验信念，我们就可以估计硬币的公平性θ，预测下一次掷硬币的概率，甚至可以看到结果如何取决于对先验信念的不同选择。

  2. 似然函数

1）伯努利分布

我们的例子是多次抛硬币，并且我们希望算出硬币正面朝上的概率。特别地，我们感兴趣的是，硬币出现的概率作为基本公平参数的函数。

这将采用函数形式f。如果我们用随机变量k来描述掷硬币结果，该变量从集合{1,0}中提取，其中1表示正面，0表示反面，那么看到正面的概率，特别是硬币的公平性，由下式给出：


我们可以为f（θ）选择一个特别简洁的形式，只需简单地说明概率由θ本身给出，即f（θ）=θ。这导致硬币正面朝上的概率如下：

硬币反面朝上的概率如下： 

这就是伯努利分布。它给出了固定公平性参数θ在两个独立的离散k值上的概率。本质上，它告诉我们一枚硬币正面或反面出现的概率取决于硬币的公平程度。

这被称为θ的似然函数。它是连续θ的函数，不同于伯努利分布，因为后者实际上是硬币翻转k的两个潜在结果的离散概率分布。

如果抛多次硬币，则上述公式表现为：

  1. 量化先验概率

    在贝叶斯方法中，确定我们先前的信念并找到量化方法是一个极其重要的步骤。具体而言，在应用贝叶斯方法时，我们需要确定参数的先验信念，并找到一种概率分布来量化这些信念。对于硬币公平性的问题，我们的关注点在于量化硬币偏差的不确定性。因此，我们需要确定 θ 的取值范围，以及我们认为每个可能取值的概率。那么问题来了——我们应该使用哪个概率分布来量化我们对硬币的信念？ 在本例中，我们将选择β分布：

从本质上讲，随着α变大，概率分布的大部分向右侧移动（硬币更容易正面朝上），而β的增加则将分布向左移动（硬币更偏向反面朝上）。
然而，如果α和β都增加，则分布开始缩小。如果α和β相等地增加，那么分布将在θ=0.5时达到峰值，即硬币是公平的。
  1. 使用贝叶斯规则计算后验概率 现在我们可以使用贝叶斯规则计算后验信念了。 在这个例子中，贝叶斯规则可以表示为以下公式： 这意味着，在给定N次抛硬币中出现z个正面的情况下，θ的后验信念具体值为： 假定有 u = 0.5, sigma = 0.1，则先验概率的beta分布为,我们抛硬币50次，10次正面朝上，则后验概率为： 后验信念的平均值和标准差分别变为： 试验后，平均值已经稳定在约0.3左右，标准偏差也减少了一半，约为0.05。这个平均值表示，在所有掷硬币的情况下，约30%的时间硬币会正面朝上，而70%的时间则反面朝上。标准偏差为0.05意味着，尽管我们对这一估计值比之前更加确定，但我们仍有一定的不确定性，不确定性相对较小。如果我们进行更多的掷硬币，随着α和β的增加，标准偏差将会进一步减小，这意味着随着实验次数的增加，我们对硬币偏向的确定性将不断提高。

评论