贝叶斯统计中先验分布的教学研究
时间：2023-04-10 21:35:02 来源：柠檬阅读网 本文已影响 人 
曹桃云 郭影玲
贝叶斯统计中先验分布的教学研究
曹桃云 郭影玲
（广东财经大学统计与数学学院，广东 广州 510320）
贝叶斯统计是统计学的一个重要分支，近几十年来贝叶斯统计迅速发展，在实际问题中获得广泛应用，如何选取先验分布是贝叶斯统计的一个主要问题。文章对贝叶斯统计教学中的四种先验分布：利用边缘分布的第二型极大似然方法确定先验、利用边缘分布的矩方法确定先验、无信息先验、共轭先验，分别从基本思想、求解步骤、应用举例、使用对比四个环节进行梳理，以加深学生对几种先验分布的理解，培养学生运用贝叶斯统计解决实际问题的能力。
贝叶斯统计；
先验分布；
教学研究
贝叶斯公式尽管从形式上看是条件概率的一个推论，但包含的归纳推理思想意义深远。学者们把贝叶斯公式发展成为一种统计推断的系统理论方法，形成贝叶斯方法。由贝叶斯方法获得的统计推断的全部结果构成了贝叶斯统计[1,2]。贝叶斯统计作为统计学的一个重要分支，目前已被广泛应用在机器学习等领域[3,4]。
贝叶斯统计将统计推断问题中的未知参数视为在参数空间内取值的一个随机变量，通过赋予随机变量先验信息，获得观测数据后综合考虑总体信息和样本信息进行后验分布的计算并完成估计和检验。一般的先验信息来自经验和历史资料，由于先验信息的使用，使贝叶斯统计进行统计推断的准确性更高，合理选取先验分布是贝叶斯统计的一个主要问题[1]。本文对教学中的四种先验分布：利用边缘分布的第二型极大似然方法确定先验、利用边缘分布的矩方法确定先验、无信息先验、共轭先验，分别从基本思想、求解步骤、应用举例、使用对比四个环节进行梳理，以加深学生对几种先验分布的理解，培养学生运用贝叶斯统计解决问题的能力。
先验分布是指在抽取样本之前对参数的认识，进一步可理解为在得到观测数据前关于参数的可能值的所有信息和信念[1,2]。本文用()表示参数的先验分布概率函数，以下简称()为参数的先验分布。先验分布()的核是指略去()表达式中和参数无关的因子，只留下与参数有关的。如参数来自伽玛分布，在均已知时，则有先验分布()为，为伽玛函数。其中的符号表示正比于，则先验分布()的核为。下文中涉及的核均指此意。若随机变量有概率函数，的先验分布为()，则为连续型随机变量时随机变量的边缘分布，在为离散型随机变量时随机变量的边缘分布。在先验分布()中含有未知超参数λ时（超参数可以是参数向量），由于先验分布()和超参数λ有关，有，此时的边缘分布也与超参数λ有关，有。
基于边缘分布的矩方法确定先验分布的基本思想是：首先将边缘分布的一些矩表示成超参数的函数，得到方程或方程组；
接着将方程或方程组中的边缘分布的矩用相应的样本矩替代，得到以超参数为变量的方程或方程组；
最后解方程或方程组。类似经典统计中的矩估计思想，此时边缘分布()的矩相当于总体矩，用相应的样本矩替代，建立方程或方程组，通过求解给出超参数的估计。将解出的超参数带入先验分布中确定先验分布。
教学中为方便学生的对比学习，归纳了四种先验分布的求解步骤。
利用边缘分布的第二型极大似然确定先验分布的求解步骤：
（1）写出参数分布中包含的超参数的对数似然函数；
（2）求解对数似然函数的最值给出超参数；
（3）带入超参数确定先验分布。
利用边缘分布的矩方法确定先验分布的求解步骤：
（1）计算样本分布的期望、方差；
（2）计算边缘密度的期望、方差；
（3）建立方程或方程组，求出超参数；
（4）带入超参数确定先验分布。
无信息先验的求解步骤：
（1）写出参数的对数似然函数；
（2）计算Fisher信息矩阵；
（3）给出参数的无信息先验。
共轭先验的求解步骤：
（1）写出参数的似然函数的核；
（2）选择与似然函数具有同类核的先验分布作为共轭先验分布。
下面通过举例进一步展示先验分布的应用。
第二型极大似然方法确定先验分布的计算如下：
（3）在已知时的先验分布为伽玛分布。
矩方法确定先验分布计算如下：
（3）给出参数的无信息先验
（2）选择与似然函数具有同类核的先验分布作为共轭先验分布
表1 常用的共轭先验分布
对于四种先验分布，表2给出了各自的使用条件。其中的利用边缘分布的第二型极大似然方法确定先验和利用边缘分布的矩方法确定先验，这两种先验的使用条件一样，都是通过给出超参数估计确定先验分布。无信息先验是连经典统计学家也认为是客观的，可以接受的，被认为是贝叶斯统计研究中最成功的的部分[1]，文献[5]中使用了无信息先验并和经典统计中的最大似然估计、矩估计等方法做了比较，结论是无信息先验下的贝叶斯估计具有优势。共轭先验具有计算方便且易于解释的优势，文献[3]中在模型的随机误差项服从正态分布的假定下，使用了正态分布的均值的共轭先验分布和方差的共轭先验分布，也是将贝叶斯方法融入集成学习中。实际应用中，应根据条件和需要选取先验以高效地进行统计推断。
表2 四种先验分布的使用条件
为了调动学生动手、动脑、动心，教师让学生收集数据，如调查大学生的睡眠问题（或每日运动量等问题），关注大学生群体中充足睡眠者所占的比例P，作为比例P的似然函数是二项分布，可以写为L(P)=Ps(1-p)n-s，其中的L(P)=Ps(1-p)n-s分别代表充足睡眠的学生数和调查的所有学生数，根据表1可知，比例的共轭先验分布是贝塔分布Beta(a, b)。课上借助相关研究[2,6]的资料，如调查了30名学生，其中12名可以保证8小时的充分睡眠，而其它18名学生的睡眠时间则不足8小时，并假设50%分位数对应的比例值为0.3，90%分位数对应的比例值为0.5，运用统计软件R编写的代码如下，得到先验和后验的图形对比。图1展示的先验和后验的图形对比说明，后验分布综合了先验分布和抽样信息，利用了更多信息，因此后验分布更集中。
library(LearnBayes)
library(ggplot2)
quantile2=list(p=0.9,x=0.5)
quantile1=list(p=0.5,x=0.3)
Beta.prior<-beta.select(quantile1,quantile2)
a<-Beta.prior[1]
b<-Beta.prior[2]
print(c(a,b))
s=12;f=18
ggplot(data.frame(x = c(0, 1)), aes(x = x)) + stat_function (fun = dbeta,
args = list(shape1 = a, shape2 = b), geom = "area",
fill = "blue", alpha = 0.3, colour = "blue", lwd = 1) + stat_function(fun = dbeta,
args = list(shape1 = s + a, shape2 = f + b),
geom = "area", fill = "red", alpha = 0.3, colour = "red", lwd = 1) +
annotate("text", x = 0.25, y = 3, label = "prior") + annotate("text", x = 0.37, y = 5.3, label = "posterior")
图1 先验和后验的图形对比
形象直观的图形让学生感受到有趣，通过引导和训练，一是收集数据动手编程可以激发学生的兴趣，二是加深学生对所学知识的理解运用，三有助于培养学生分析问题和解决问题的能力。
贝叶斯统计作为“全球九大开拓性新兴科技领域”之一，对未来科技的发展具有重要的意义。贝叶斯统计作为统计学的专业课程，普遍开设在大三和研究生二年级，如何获得良好的教学效果，让学生能够学以致用，对这门课程的教学提出了高要求。文章对课程中先验分布的选取进行了探讨，针对如何选取先验分布，从基本思想、求解步骤、应用举例、使用对比四个环节对教学中的四种先验分布：利用边缘分布的第二型极大似然方法确定先验、利用边缘分布的矩方法确定先验、无信息先验、共轭先验进行梳理，旨在加深学生对四种先验分布的理解，重点培养学生运用贝叶斯统计解决问题的能力。
[1]韦来生. 贝叶斯统计[M]. 北京: 高等教育出版社，2016.
[2] 韩明. 贝叶斯统计学及其应用[M]. 上海: 同济大学出版社，2015.
[3] CHIPMAN H A, GEORGE E I, MCCULLOCH R E. BART: Bayesian additive regression trees[J]. Annals of applied statistics, 2010, 4(1): 266-298.
[4] LINERO A R. Bayesian regression trees for high dimensional prediction and variable selection[J]. Journal of the American Statistical Association, 2018, 113(522): 626-636.
[5] 张文清，钱夕元. 非对称三参数广义误差分布的参数估计及应用[J]. 华东理工大学学报(自然科学版)，2021(3): 411-418.
[6] 豆瓣. 贝叶斯集锦(4): 贝叶斯统计基础[EB/OL]. https://site.douban.com/182577/widget/notes/10567181/note/294041203/，2013-8-9
Teaching Research on Prior Distribution in Bayesian Statistics
Bayesian statistics is an important branch of statistics. Bayesian statistics has developed rapidly in recent decades and has been widely used in practical problems. How to select a prior distribution is a major problem in Bayesian statistics. The article combs four kinds of prior distributions in teaching: determining a prior by using the second type maximum likelihood method of marginal distribution, determining a prior by using the moment method of marginal distribution, determining a prior, a prior without information, and a conjugate prior from four aspects: basic ideas, solving steps, application examples, and use comparison, so as to deepen students" understanding of several prior distributions, cultivating students" ability to solve practical problems by using Bayesian statistics.
Bayesian statistics; prior distribution; teaching research
G642
A
1008-1151(2022)12-0124-04
2022-09-09
曹桃云（1968－），女，广东财经大学统计与数学学院副教授，博士，硕士研究生导师，研究方向为统计机器学习、贝叶斯统计教学研究；
郭影玲（1991－），女，供职于广东财经大学统计与数学学院，硕士，研究方向为美术视觉传达设计、高等教育研究。
