θi=(μi,σ2i)θi=(μi,σi2),μiμi、σ2iσi2 为第 ii 个高斯分布的位置参数与尺度参数,
混合分布模型如公式(3)所示。
p(x|θi)=12π√σie−(x−μi)22σ2ip(x|θi)=12%π%σie−(x−μi)22σi2
(3)
1.2 多元高斯混合分布参数估计
假设观测数据集{x1,x2,⋯,xm}{x1,x2,⋯,xm}由高斯混合模型生成,模型表
达式如公式(4)所示。
PGMM(x|θ)=∑ki=1αi⋅p(x|θi)PGMM(x|θ)=∑i=1kαi⋅p(x|θi)
(4)
其 中 ,θ=(α1,α2,⋯,αm;θ1,θ2,⋯,θm)θ=(α1,α2,⋯,αm;θ1,θ2,⋯,θm), 观 测
数据产生过程如下。
首先依据概率 αiαi 选择第 i 个高斯混合分布模型 p(x|θi)p(x|θi),然后依据第
i 个高斯混合分布模型生成观测数据 xjxj。此时 xjxj 是已知的,而反应 xjxj 来自于
第 i 个高斯混合分布模型的数据是未知的,将其定义为隐变量 γjiγji,当 xjxj 来自于
第 i 个高 斯混合 分布模型时 其值为 1, 否则为 0 。其 中 ,j=1,2,3,⋯,mj=1,2,3,
⋯,m,i=1,2,3,⋯,ki=1,2,3,⋯,k,mm 为样本总量,kk 为高斯混合成分个数。通
过观测变量以及隐变量得到完全数据(xj,γj1,γj2,⋯,γjk)(xj,γj1,γj2,⋯,γjk),由此构
造完全数据的似然函数如公式(5)所示。
p(x|θ)=∏mj=1P(xj,γj1,γj2,⋯,γjk|θ)=∏ki=1∏mj=1(αip(xj|
θi))γij=∏ki=1αnii∏mj=1(p(xj|θi))γij=∏ki=1αnii∏mj=1⎛⎝12π√σie−
(xj−μi)22σ2i⎞⎠γijp(x|θ)=∏j=1mP(xj,γj1,γj2,⋯,γjk|θ)=∏i=1k∏j=1m(αip(xj|
θi))γij=∏i=1kαini∏j=1m(p(xj|θi))γij=∏i=1kαini∏j=1m(12%π%σie−(xj−μi)22σi2)γij
(5)
其中,ni=∑mj=1γjini=∑mj=1γji 且∑ki=1ni=1∑ki=1ni=1,则完全数据的对数
似然函数为