高阶概率家族的Dirichlet自然结构在理论计算机科学中的应用

◦可在www.sciencedirect.com在线获取理论计算机科学电子笔记319（2015）137-164www.elsevier.com/locate/entcsDirichlet自然文森特·达诺斯1法国巴黎的D'epartementIlias Garnier2爱丁堡大学信息学院英国爱丁堡摘要Giry和Lawvere本文的目标是按照这个公式重建一个家庭的高阶概率称为狄利克雷过程。这个家族被广泛用于非参数贝叶斯学习。给定一个波兰空间X，我们在G（G（X））中建立一个高阶概率族，其索引为X上的非零有限测度集M（X）。这种结构依赖于两种成分。首先，我们发展一种将零维波兰空间X映射到有限近似的投影系统的方法，其极限是X的零维分解。第二，我们使用一个函子版本的Bochner这些成分与有限空间上Dirichlet过程的已知组合性质相结合，得到X上的Dirichlet族DX。我们证明了族DX是Polish空间上从单子M→G → G的自然变换，特别是它的参数是连续的这是对DX[17，26]现存结构的改进保留字：概率，拓扑，范畴论，单子1介绍有人认为，马尔可夫系统之间的精确互模拟可以使用更一般的互模拟度量概念更好地概念化[29]。这是因为经常出现只能估计马尔可夫链（MC）的转移概率的情况。3这种不确定性自然会导致1vincent. ens.fr2igarnier@inf.ed.ac.uk[3]尽管物理系统中对称性的存在有时会导致精确的互模拟，它只依赖于结构，而不依赖于跃迁概率的实际值[28]。有-与互模拟度量平行的诱惑，在定义一个时间逻辑公式的满足时[14]http://dx.doi.org/10.1016/j.entcs.2015.12.0101571-0661/© 2015作者。出版社：Elsevier B.V.这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。138诉达诺斯岛Garnier/Electronic Notes in Theoretical Computer Science 319（2015）137→使用基于度量的近似等价概念作为比精确互模拟更鲁棒的比较过程的方式。在这里，我们希望重新审视模型中的不确定性问题，并提出一个新的、更丰富的框架来处理它。我们保留了使用鲁棒的比较方法（通常是将Kantorovich或Prohorov度量提升到MC）的想法，但我们增加了第二个想法：即引入一种量化被比较链中不确定性的方法为了量化马尔可夫链中的不确定性，我们建议在较长的时间内将“不确定马尔可夫链”的概念探索度量化空间），G是吉里概率函子。也就是说，链以“随机概率”（即概率的概率）取值4这种对概率模型中行为不确定性的自然处理将允许人们制定（贝叶斯）学习的概念，并因此获得1）可以在观察下学习的模型和2）可以合并数据并减少不确定性的行为过程之间的互模拟度量成为随机变量，学习应该减少它们的可变性。我们需要在共代数方法中建立一个足够普遍的客观学习框架。在贝叶斯框架中学习概率自然被描述为G2（X）→G2（X）类型的（随机）过程(soG2（X）→G3（X）真的！）由观察驱动对于有限个X，此设置构成没有困难，但对于更一般的空间，人们需要在G2（X）上构造一个计算句柄-不确定或高阶概率的空间。这就是我们在这篇论文中所做的。为此，我们在Pol. Dirichlet过程[1，16]形成了G2（X）中的一族元素，由X上的有限测度索引[1，p.17]5，并且在贝叶斯学习下是封闭的对我们的构造不可或缺的是一种“分解/重组”的方法为了提升有限个更高的概率，我们使用Pol（Sec. 2.3）。可测空间的有限划分（或随机过程的有限联合分布）上的概率的柯尔莫哥洛夫相容分配可以系统地看作是Pol中投影（可数共向）图G下的图像中的点。利用上面的内容，我们证明了Pol中的Dirichlet类过程可以看作是从M（Pol上非零有限测度的单子）到由有限离散空间建立的G2的自然性的有限版本在统计文献中被称为(This打开了这里提出的构造的公理化版本的可能性，见结论。）[4]另一种可能性是把不确定链看作G（X G（X））的元素，但是，除非X是紧的，否则这就把我们带到Pol之外。5例如，对于Poisson点过程。诉达诺斯岛Garnier/Electronic Notes in Theoretical Computer Science 319（2015）137139∫. ..定义为平均：μX（P）=B∈ B（X）›→G（X）EVBdP其中EVB=Q∈YgdG（f）（P）=XgfdP。最后，G保持满射性、内射性22基本事实我们在附录A中提供了本文中使用的一般拓扑学的入门。关于这个问题的一个有用的参考文献是[11]。在[7，27]中讨论了概率测度的弱收敛。2.1Polish空间上的有限测度与Giry单子弱拓扑拓扑空间X上的测度P是定义在Borel σ -代数B（X）上的正可数可加集函数，其值为P（X）=0。 我们只考虑波兰空间上的有限测度，即P（X）<∞。当P（X）= 1时，P是一个概率测度。我们将G（X）记为上的所有概率测度的空间，X的弱拓扑[7，27]，是评价映射族EVf=P<$→XfdP的初始拓扑，其中f在Cb（X）中，（Cb（X），<$·<$∞）是X上具有上范数的实值连续有界函数的Banach空间.测度P∈G（X）的邻域基由以下集合给出：NP（f1， . ，fn，f n1， . ，n）=.QfidP−fidQi，1≤i≤n其中fi∈Cb（X），∈i>0.我们可以限制w.l.o.g.实值有界一致连续函数的子集，记为Ub（X）。重要的是，如果X是Polish的，则G（X）上的弱拓扑也是Polish的（参见Parthasarathy，[27] Chap.2.6)[31]这是一个可以用Wasserstein-Monge-Kantorovich距离来度量的距离用Pn-P表示序列（Pn∈G（X））n∈N到P∈G（X）的弱收敛性.“Portmanteau”定理（[ 7 ]，定理2.1）指出，对所有P -连续集B，即Borel集s. t，P（λ B）= 0。P-连续集形成布尔代数（[27]，引理6.4）。概率P∈G（X）的支撑记为supp（P），定义为最小闭集，使得P（supp（P））= 1。对于X，Y波兰，P∈G（X），Q∈G（Y），我们记P<$Q∈G（X×Y）为乘积概率，使得（P<$Q）（BX×PY）=P（BX）Q（PY）.吉里单子叶植物运算G可以扩展为一个函子G：Pol→Pol，它与Giry单子结构（G，δ，μ）相容[19]。对于任意连续映射f：X→Y，我们集合G（f）（P）=B∈ B（Y）<$→P（f−1（B）），即G（f）（P）是前推测度。对于给定的X，δX：X→G（X）是在x处的狄拉克δε，而μX：G（X）→G（X）G（X）›→Q（B）计算Borel集B上的概率。 我们有“变量变换”公式：对所有的f ∈G（X），f：X →Y g：Y →R有界开放性：引理2.1（i）f：X→Y是内射的当且仅当G（f）是内射的;可测量的，140诉达诺斯岛Garnier/Electronic Notes in Theoretical Computer Science 319（2015）137. ∫∫...∫gidP 0，因此f是满射的。（3）假设f是一个嵌入。令NP（g1，...，gn，n =1，...，n）是某个P的某个基本邻域 ∈G（X）， .设PJ∈NP在P的邻域内，即. XgidP−XgidPJ。0.等价地，Q是严格正的当且仅当supp（Q）=X。引理2.2 Polish空间X上的严格正有限测度（当它们存在时）形成M（X）的Polish子空间。 我们用M+（X）表示这个子空间。证据 证明M+（X）是M（X）中的Gδ集是足够的. 设{On}n∈N是X的可数基数。测度Q的严格正性等价于..诉达诺斯岛Garnier/Electronic Notes in Theoretical Computer Science 319（2015）137141∫∫dλn≥0≥0 ∩Q（On）> 0，对所有非空On，因此M+（X）= n{Q∈M（X）|Q（On）> 0}。显然，|Q（On）= 0}在弱拓扑中是闭的，因此M+（X）是Gδ，并构成M（X）的一个波兰子空间.Q总而言之，对于XPolish，我们有以下有限测度的Polish空间的包含：M+（X）<$M<$（X）<$M（X）还请注意，M和M是Pol上的闭函子，但M+不是，除非限制于满态的子范畴措施规范化记νX：M<$（X）→G（X）：取任意测度Q∈ M<$（X）到其正规化的连续映射νX（Q）B∈ B（X）›→Q（B）/|Q|得双曲余切值. |Q|Q（X）是测度的总质量。νX验证了一个有用的属性：引理2.3ν：MG是自然的。证据设f：X→Y是连续映射。我们有：−1Qf−1Qf−1（G（f）<$νX）（Q）=νX（Q）<$f=Q（X）=Q（f−1（Y））=νY<$M<$（f）（Q）Q密度和卷积Radon-Nikodym定理断言G（R）中关于勒贝格测度绝对连续的测度允许积分表示使得P（A）= A fdx。 在这种情况下，P被称为具有关于勒贝格测度的密度f。f有时记为 dP，其中λ表示勒贝格。对于P，Q∈G（R），有各自的密度w.r.Lebesgue fP，fQ，P和Q的卷积积被定义为具有密度fP<$Q（x）= R fP（x）fQ（x− t）dt的测度P <$Q（参见Kallenberg [22]，引理1.28）。得到政府支持的措施当X是有限的离散空间，使得X={x1，.，xn}，G（X）与单形Δ n<$R有交，其中Δ n={（p1，.，pn）|pi≥ 0，pi= 1}。注意Δn是一个n-1维空间。M（X）对应于正orthant，notedRn.因为对于X有限，G（X）是（拓扑上）一个有限的子空间nn维向量空间，它同胚于Δn<$R，而拓扑M（X）的R_n对应于R_nR_n的R_n。 如果我们注意到在n元集合中，n1）A（）=A（），A（）= A（），A（）=A（）， +）。142诉达诺斯岛Garnier/Electronic Notes in Theoretical Computer Science 319（2015）1372.2拓扑空间的投影极限我们的许多定理将处理作为拓扑空间的投影极限（也称为逆极限或滤极限）得到的空间这些拓扑投射极限被定义为集合和函数的通常范畴Set中投射极限的充分拓扑设（I，≤）是一个被看作范畴的有向偏序集，D：Iop→Set是一个滤集图。D的投影极限是D上的一个终锥（limD，πi），其中limD是limD{x|D（i≤j）（πj（x））= πi（x）}<$D（i）我πi：jD（j）→D（i）是正则投影。注意，D是从I到Set的反transvariant。正如定义中所强调的，limD是包含所有元素序列的卡积iD（i）的子集，这些元素序列遵守图D所施加的约束。limD的元素称为线程，映射D（i≤j）：D（j）→D（i）是键映射。当然，limD可以是空的（参见[34]中的一个简短例子）。保证极限非空的一个充分条件是考虑函子D，其中I是可数的，并且键映射是满射的[6]。为了方便起见，我们将这些键合映射记为πijD（i≤j），并将可数的滤满图ccd简称为ccd。写作U：Top → Set作为基本的集函子，图D：Iop→Top在Top中的滤除极限通过赋予U D的Set极限以典范投影{πi}i∈I的初始拓扑而得到。 以下有用的附加事实通过考虑lim D作为iD（i）的（闭）子集的交集而得出，对于所有对（i，j）s. t，满足D（i ≤ j）（πj（x））= πi（x）。i≤j。引理2.4（[11]，Ch. 1，§8.2，Corollaire 2）lim D是i D（i）的闭子集。2.3Bochner扩张定理给定一个相容的有限维边缘系统的随机过程的构造是概率论中的一个重要工具，一个经典的例子是使用Kolmogorov扩张定理构造布朗运动[25]。除了Kolmogorov它们在考虑概率的空间（可测空间、拓扑空间或向量空间）的结构数量上有所不同。– and we will make crucial use of the Bochner extension theorem for Polish定理2.5对于P中的任意一个ccd，G（limD）n= limG<$D。 bcn：lim GD→G（lim D）这个同胚.换句话说，Bochner扩张定理指出，满足图约束（limGD的元素）的概率的任何投影族可以唯一地提升到极限空间（G（limD）的元素）上的概率诉达诺斯岛Garnier/Electronic Notes in Theoretical Computer Science 319（2015）137143更重要的是Bochner扩张的这种表述似乎并不为人所知：在局部紧空间的情况下，Metivier（[24]，定理5.5）给出了类似的陈述，其中相交但不包括Polish空间;Fedorchuk在[ 15 ]中证明了G在紧Hausdor空间类上的连续性，而最近Banakh [4]利用Stone- C e空间化的性质，在更一般的Tychono空间中提供了一个扩张定理。3零维Polish空间及其性质在应用中考虑随机过程的无穷近似是很自然的。因此，这种近似的正确性应该对应于某种限制性的论证，说明越来越精细的近似在某种适当的意义上产生了原始对象。根据Bochner扩张定理，它可以考虑由底层空间的无穷逼近支持的概率的投影族作为输入然而，同样的定理告诉我们，我们只能用这种方法获得有限空间（也称为profennite空间）的投影极限上的概率，这是一个相当严格的类别：命题3.1空间是有限离散空间的可数投射极限当且仅当它是紧的零维波兰空间。证明可以在Borceux Janelidze [10]中的一个稍微不同的术语下找到，其中表明这些空间对应于Stone空间他们的闭集布尔代数！由于这一命题的证明对未来的发展很有启发性，我们在这里提供它证据设D：Iop→Polfin是有限空间的ccd。limD的优美性来自Pol在可数极限下的封闭性 有限空间是紧的，并且根据Tychono定理，i D（i）也是紧的。引理2.4断言limD在这个紧积中是闭的，因此limD本身是紧的。回想一下，lim D具有正则投影映射πi的初始拓扑：lim D → D（i），因此lim D的基由前基开πi−1（Xi）的有限个交集构成，对于Xi<$D（i）。因为D（i）是离散的，所以它们的任何子集都是开闭的，前基也是开的;我们通过注意到开闭集的有限交集也是开闭的而得出结论。相反，设Z是一个紧的零维波兰空间。当Z是零维Polish时，它的拓扑由闭集的可数基生成.因为Z是紧的，所以每个闭包都可以写成基闭包的有限并集。因此它的闭序圈Clo（Z）的布尔代数也是由相同的可数基生成的，并且它本身是可数的。请注意，Clo（Z）不依赖于基数的选择！让我们考虑所有有限开闭分拆的集合I（Z），Z.对任意i∈I（Z），假设存在连续满射商映射fi：Z→i.因为i是离散的，所以fi的纤维是闭合的。 注意I（Z）也是可数的。I（Z）是按划分细化偏序的：对所有i，j∈144诉达诺斯岛Garnier/Electronic Notes in Theoretical Computer Science 319（2015）137czzI（Z），我们写i≤j，如果存在一个满射I（Z）也通过考虑任何两个分区的单元的成对交叉来Z的有限离散子系统与键合映射fji一起清楚地定义了一个ccd，我们将其写为D：I（Z）op→Polfin，将I（Z）的每个元素映射到自身，并将加细的偏序映射到键合映射。因此，存在一个极限锥（limD，πi）。利用锥的普适性，存在唯一的连续映射η：Z→limD s. t.fi=πiπη。让我们证明η是一个同胚。由于limD和Z都是紧的，这足以证明η是一个双射。回想一下，Clo（Z）分离点（它包含Hausdor拓扑的一个基），因此对于任何x/=y∈Z，我们可以展示两个分离它们的Clopen细胞，这意味着η是内射的。η的满射性是商映射和键映射满射性的一个推论Q我们用Polcz表示Pol的全子范畴，其中对象是紧的和零维的从有限支撑概率的投影系统的数据，Prop.3.1连同Bochner的扩张定理（Thm. 2.5）只允许我们获得由这样的利润空间支持的概率。因此，我们把狄利克雷的推广作为从有限空间的设定到任意波兰空间的设定的一个自然变换，就必然要把从利润空间到任意波兰空间之间的鸿沟架起一座桥梁。我们提出的解决方案是介导的零维波兰空间在一个决定性的方式。更确切地说，我们的构造可以被构造为将扩张问题迭代地缩减到Pol的越来越小的子范畴（如下所示）：零维空间Polz的（全）子范畴，紧零维空间Polcz的子范畴，最后是有限Polish空间的子范畴Polfin下图非正式地描绘了分类设置：Pol翅片⊆ω波兰人，¸⊆zPol，s、⊆P，ol上图中突出显示的两个基本操作是：• -零维化Z ，它产生波兰空间的零维精化，其中已经选择了拓扑的可数基，以及• 零维沃尔曼分解ω，它从零维波兰空间产生一个紧致的零维波兰空间，再一次，选择一个闭集的基。我们吸引读者的注意力的事实，这些操作是先验的，而不是函子。然而，正如我们将在本节的其余部分看到的，这些运算表现出强大的性质，足以进行扩展。诉达诺斯岛Garnier/Electronic Notes in Theoretical Computer Science 319（2015）137145TXAnn∈N，由引理3.3得到。引理3.4δδ3.1零维化零维化以波兰空间X作为输入，沿着X的某个可数基F的选择。它在与X相同的基础集合上产生波兰零维拓扑，我们用zF（X）表示命题3.2设（X，TX）是波兰的，F是X的可数基设Boole（F）是由F生成的布尔代数。设zF（X）是允许Boole（F）作为其拓扑基的空间。 zF（X）证明了以下性质：(i) zF（X）是波兰的;(ii) zF（X）是零维的;(iii) 保Borel集：B（X）=B（zF（X））;(iv) 恒等函数idF：zF（X）→ X是连续的。为了证明3.2，我们需要从描述集合论中得到一些经典的事实，这些事实是从Kechris [23]，Sec.十三：引理3.3对任何波兰空间（X， TX）和任何闭集A，存在波兰拓扑TXA使得TX<$TXA，A在TX A中闭闭且B（TX）= B（TXA）。此外，TX<${O <$A|O ∈TX}是TXA的基.引理3.4设（X，TX）是Polish的，{TXn}n∈N是X上的Polish拓扑族，则由{TXn} n生成的拓扑TX∞是Polish的.此外，如果n，TXn<$B（TX），则B（TX∞）= B（TX）。是的。 （3.2）Fo. rea ch<$On∈F，记An=X\On. 考虑这就要求由 nTXAn生成的拓扑是波兰的。 回想一下，每个TXAn 都 有基TX<${O<$An|O ∈ TX}。在有限个交集下闭合nTXAn得到由nTXAn生 成 的 拓 扑具有基TX<${O<$C |O ∈ TX，C ∈ Boole（F）}.由于F是TX的基，并且F<$Boole（F），所以由<$nTXAn生成的拓扑的等价基是Boole（F）。通过定义，我们推导出zF（X）的拓扑是由nTXAn生成的。(i) 引理3.4要求结果空间确实是波兰的。T X的等价基<$TX|F c是F <$F| Fc和这个基的元素是闭开的，因此结果空间也是零维的。(ii) 零维性是以布尔代数为基的一个平凡的结果。(iii) 保波莱尔集是引理3.4的进一步的结果。(iv) 恒等式的连续性是zF（X）比X更精细这一事实的一个微不足道的结果。Q据我们所知，我们波兰拓扑族146诉达诺斯岛Garnier/Electronic Notes in Theoretical Computer Science 319（2015）137δi=1i=1i=1尽管明显缺乏规范性，但任何波兰拓扑都完全由其零维加细集合决定6：定理3.5任何波兰空间X都有族的最终拓扑{idF：zF（X）→X}F，其中F是X的所有可数基的值域.这个定理的证明依赖于下面的引理。引理3.6设X是Polish空间，（xn）n∈N→ x是X中的收敛序列.设F是X的可数基。 （xn）n∈N在zF（X）中收敛于x，如果x/∈ F<$O.证据回想一下，zF（X）的可数基是F<$F| Fc. 假设x不在任何元素O∈ F的边界上。设U是x在zF（X）中的基本开邻域.如果U∈F，则通过引用证明收敛性是平凡的到X的拓扑如果不是，我们有U = O<$D，其中D=n X\Oi，Oi∈ F;换句话说，x∈（X\n Oi）20.注意，由于Oi是开放的，Oi=Oi<$$> Oi它是X中的一个开集。结果如下。Q证据（定理3.5）证明了对所有拓扑空间Y，函数f：X→Y是连续的当且仅当f_idF：zF（X）→Y对所有可数基F是连续的。前向蕴涵是微不足道的。假设对所有可数基F，f_idB：zF（X）→ Y是连续的。 考虑X中的收敛序列（xn）n∈N→x.证明一个空间zF（X）在其中该序列也收敛是足够的。引理3.6给出了对任意O ∈F，x不属于O的充分判据。让我们建立这样一个基础。考虑X的稠密集D。设d：X2→[0，1]是完全度量X的度量.不失一般性，假设x∈ D。记rndd（x，dn），其中dn∈D \{x}. 对于所有的n，取以每个d n为中心的开球族，其有理半径严格小于rn，例如rn/3。由于diam（B（dn，rn/3））=diam（B（dn，rn/3）），x/∈<$B（dn，r），r

下载后可阅读完整内容，剩余1页未读，立即下载