一、什么是贝叶斯统计
英国学者 T.贝叶斯 1763 年在《论有关机遇问题的求解》中提出一种归纳推理的理论,后被
一些统计学者发展为一种系统的统计推断方法,称为贝叶斯方法。采用这种方法作统计推断
所得的全部结果,构成贝叶斯统计的内容。认为贝叶斯方法是唯一合理的统计推断方法的统
计学者,组成数理统计学中的贝叶斯学派,其形成可追溯到 20 世纪 30 年代。到 50~60
年代,已发展为一个有影响的学派。时至今日,其影响日益扩大。
内容:
贝叶斯统计中的两个基本概念是先验分布和后验分布。
①先验分布。总体分布参数θ的一个概率分布。贝叶斯学派的根本观点,是认为在关于
总体分布参数θ的任何统计推断问题中,除了使用样本所提供的信息外,还必须规定一个先
验分布,它是在进行统计推断时不可缺少的一个要素。他们认为先验分布不必有客观的依据,
可以部分地或完全地基于主观信念。
②后验分布。根据样本分布和未知参数的先验分布,用概率论中求条件概率分布的方法,
求出的在样本已知下,未知参数的条件分布。因为这个分布是在抽样以后才得到的,故称为
后验分布。贝叶斯推断方法的关键是任何推断都必须且只须根据后验分布,而不能再涉及样
本分布。
贝叶斯统计(Bayesian statistics),推断统计理论的一种。英国学者贝叶斯在 1763 年发表
的论文《有关机遇问题求解的短论》中提出。依据获得样本 (Xl,X2,…,Xn)之后θ的后验
分布π(θ|X1,X2,…,Xn)对总体参数θ作出估计和推断。它不是由样本分布作出推断。
其理论基础是先验概率和后验分布,即在事件概率时,除样本提供的后验信息外,还会凭借
自己主观已有的先验信息来估计事件的概率。而以 R.A.费希尔为首的经典统计理论对事
件概率的解释是频率解释,即通过抽取样本,由样本计算出事件的频率,而样本提供的信息
完全是客观的,一切推断的结论或决策不允许加入任何主观的先验的信息。以对神童出现的
概率 P 的估计为例。按经典统计的做法,完全由样本提供的信息(即后验信息)来估计,认为
参数 p 是一个“值”。贝叶斯统计的做法是,除样本提供的后验信息外,人类的经验对 p 有
了一个了解,如 p 可能取 pl 与户 p2,且取 p1 的机会很大,取 p2 机会很小。先验信息关于
参数 p 的信息是一个“分布”,如 P(p=p1)=0.9,P(p=p2)=0.1,即在抽样之前已知道(先验
的)p 取 p1 的可能性为 0.9。若不去抽样便要作出推断,自然会取 p=p1。但若抽样后,除
非后验信息(即样本提供的信息)包含十分有利于“p—=p2”的支持论据,否则采纳先验的看
法“p=p1”。20 世纪 50 年代后贝叶斯统计得到真正发展,但在发展过程中始终存在着与
经典统计之间的争论。
推荐书目: