贝尔态与否定句的意义分布模式

理论计算机科学电子笔记270（2）（2011）141-153www.elsevier.com/locate/entcs意义分布模式中的贝尔态与否定句安妮·普雷勒1InformatiqueLIRMM/CNRS法国蒙彼利埃Mehrnoosh Sadrzadeh2牛津大学联合王国摘要我们利用贝尔态为英语否定句提供了成分分布意义。句子中每个单词的词汇意义是在分布式意义模型中获得的上下文向量。句子的意义存在于词的向量空间的张量空间中。从数学上讲，句子的意义是一个量化函子的图像，从对句子的语法结构进行建模的紧致闭范畴（使用Lambek预群）到对单词的词汇意义进行建模的有限维向量空间的紧致闭范畴。意义是通过合成eta和eta映射来计算的，eta和eta映射创建贝尔状态并进行替换，从而允许信息在句子中的单词之间传播。关键词：紧闭范畴，预群，向量空间，意义分布模型，语言学，贝尔态。1引言为什么要在量子物理研讨会上发表属于计算和数学语言学的论文？令人惊讶的是，它们在直觉和技术上有相似之处。也许可以通过比较这两种方法来获得洞察力1电子邮件：preller@lirmm.fr2电子邮件：mehrs@comlab.ox.ac.uk3感谢 EPSRC （授权EP/F042728/1 ）和LIRMM的支持， 以及与Claudia Casadio、Stephen Clark 和BobCoecke的有益讨论。特别感谢Louise Crane，他给了我们量化函子的概念。1571-0661 © 2011 Elsevier B. V.在CC BY-NC-ND许可下开放访问。doi：10.1016/j.entcs.2011.01.028142A. Preller，M.Sadrzadeh/Electronic Notes in Theoretical Computer Science 270（2）（2011）141并像不玛丽意义共享约翰述的除虱z，，BOB语法述的除虱z，，BOB时间Fig. 1. 一只虱子通知另一只虱子人类交流的协议有两个方面，即将存储的信息转换为单词（语义学）和将单词放入句子（syn-tax）。这两个方面都是由说话者爱丽丝和听者鲍勃执行的，前者保留信息，后者希望接收信息，但顺序不同。爱丽丝根据语法规则把意思写进单词里。Bob将这串单词识别为一个句子，重新构建单词的含义，并将它们组合在一起形成句子的含义。这个过程的共享状态是单词，它们既有意义又有语法。单词的语义内容存储在存储器中。意义代表了过程中“准备好的”部分。句法结构在处理期间被识别。识别代表了过程中的“观察”位。这种直观的相似性是由通信和量子逻辑原型的共同数学公理化所强调的。我们提出的通信协议使用前组语法的语法和紧凑的语义闭范畴。数学语言学家从语法和语义的角度研究自然语言的数学结构。一些非常相同的数学结构也被用于计算机科学和物理学。例如，Lambek术语它们被用来公理化操作量子逻辑[6]。在计算机科学中，Quan-tales是线性逻辑的代数模型[17]，也被用于并发逻辑[2]。最近，一些理论物理学家和数学语言学家已经独立地放弃了Quantales的monoidal结构，而采用更有表现力的紧致闭范畴的设置。Lambek使用了紧凑双范畴的设置[14]，称为Pregroup[10];这些已被应用于分析许多自然语言的语法，从英语和法语到日语，阿拉伯语，波斯语和许多其他语言。Abramsky和Coecke [1]使用紧凑的闭范畴为量子协议提供了语义，从而为量子逻辑奠定了新语言模型和物理模型之间的相似之处A. Preller，M.Sadrzadeh/Electronic Notes in Theoretical Computer Science 270（2）（2011）141143这一点在Lambek的[9]中得到了证实。除了语法之外，这些相似性也出现在自然语言的语义模型[13]从逻辑的观点出发，以紧双范畴的形式提出了前群文法的范畴理论语义。从分布式的角度来看，向量空间用于为单词提供词汇意义[16]。此外，希尔伯特空间的量子公理已被用于建模自然语言的语义[18，19]。这些模型已经在文档信息检索中得到了应用，例如网络上的文档，以及寻找单词的同义含义[7]。意义的逻辑模型是组合的：一个句子的意义是其各部分意义的函数，但这些模型并没有对单个单词的意义说得太多。与此相反，意义的分布式模型为单个单词提供了一个很好的语义，但不是组合的。 开发一个组合的分布式意义模型是自然语言语义学领域的一个开放性问题。根据S. Clark和Pulman [5]的观点，即向量空间张量积是构造意义向量的一个很有前途的候选者，S. Clark，Coecke和第二作者在紧闭范畴的背景下提供了这个问题的解决方案[4]。数学背景是前群和有限维向量空间范畴的乘积范畴，因此对象是来自前群部分的语言类型及其作为上下文向量空间中向量的意义的对。这个范畴的成对张量被用来构成句子中单词的意义。该方法在简单肯定句上进行了测试，其中使用线性映射将主语和宾语的意义向量替换为线性映射的论元。为涉及“not”和“and”等逻辑连接词的更复杂的句子提供在本文中，我们建立在以前的工作如下• 我们整理了以前工作的数学结构：而不是在产品类别中工作，我们使用更优雅和更自然的“量化函子”的概念• 受第一作者在[13]和后来在[15]中的工作的启发，我们展示了逻辑连接词“not”的意义如何在这种情况下，它们使用索引提供的自由度为“does”和“not”的线性映射创建额外的参数空间。这个过程允许信息从句子开头的主语流向动词，而动词由于否定而远离主语。这类似于基于心灵传输的量子协议中发生的情况，例如144A. Preller，M.Sadrzadeh/Electronic Notes in Theoretical Computer Science 270（2）（2011）141⊗纠缠交换图形演算以一种令人愉快的简单明了的方式描绘了这一过程，并将矩阵的复杂计算变成了拉绳子或梳理头发的愉快任务• 我们朝着在自然语言中开发语义推导逻辑迈出了第一步。受D. Clark在[3]中提出了一种等级蕴涵的概念，并利用它来衡量肯定句和否定句子的意义可以通过这种蕴涵相互推导，这种蕴涵的程度代表句子的意义相互接近的程度2背景2.1紧闭范畴一个紧闭范畴是一个monoidal闭范畴，它的积和单位是I，只要对于每个对象A，也有对象Ar和Al，以及态射ηl：I→AAll：AlA→Iηr：I→ArAr：AAr→I其满足：l l l l（1A）（η1A）= 1A（1Al）（1Alη）= 1AlR r r r（1A）（1Aη）= 1A（1Ar）（η1Ar）= 1Ar当将态射ηl，ηr，ηr描述为A Al ArA这些公理简化为AlAA Ar阿阿阿阿AAArArA A Ar Ar即，它们归结为“猛拉电线”或“梳理头发”。存在由偏序集B生成的自由紧闭范畴T（B），这种自由构造在[14]中已经阐明。如果一个紧闭范畴是对称的，那么我们有超对称自然同构σA，A′：A<$AJ→Aj<$A。在这个范畴中，左伴随和右伴随成为恒等式。2.2前群文法设A是自然语言的词的集合，B是偏序集合。一基于B的T的预群字典是二元关系D×T（B），其中A. Preller，M.Sadrzadeh/Electronic Notes in Theoretical Computer Science 270（2）（2011）141145r r rlJJnσσT（B）是偏序B上生成的自由紧2-范畴。关于这一结构的细节，我们请读者参阅第一作者与J. Lambek在[14]中的共同工作。字典D中的每个元素（w，t）称为D中的一个词条。一个基于B的前群文法G=D，s由一个字典D和一个区别元s∈ B组成.一串单词w1. n的wn称为语法的当且仅当f：t1···tn→ s是T（B）的态射，其中每个（wi，ti）是D中的一个词条. 这些态射有时被称为约简。例如，正如[15]中所建议的，我们考虑英语的前组语法，其前组字典中有以下条目;它生成句子约翰：n并：nrsjlσ喜欢：nrsnl不：σrjjlσ玛丽：n像：σrjnl基本类型n、s、j代表名词短语、语句和索引;σ在[ 12 ]的HPS语法中起着类似于索引“排序”的作用集合B={n，s，j，δ}按等式排序。基于这些类型，上述句子是语法的;它们的约简是T（B）中的态射。“约翰喜欢玛丽”的约化态射阿尔扎伊德·斯捷潘n n并具有以下类型n（n rs < $nl）<$n→s它用紧闭范畴n nr s nl n“约翰不喜欢玛丽”的约化态射阿吉尔阿吉尔◦ ϵ⊗idsjl ⊗ϵ ⊗idjjl ⊗ϵ ⊗idj ⊗ϵ并具有以下类型n<$（nr<$s <$jl<$σ）<$（σr<$j<$jl<$σ）<$（σr<$j <$nl）<$n→s其描述如下n nr s jl σ σr jjl σ σr jnlnn146A. Preller，M.Sadrzadeh/Electronic Notes in Theoretical Computer Science 270（2）（2011）141Σ2.3意义分布模型在意义的分布式模型中，词的词汇意义是向量， 可能是高维的向量空间;以字典中的某些词为基的空间。给定一个文本或一组文本，并固定一个n个单词的邻域窗口，计算某个单词在该窗口中出现的次数。这就给我们提供了一个向量，也就是这个词的词汇意义的向量。举个例子[4]，考虑单词dog和一个向量空间，其基为eat、sleep、pet和furry。如果单词dog在其上下文中有6次eat（在某些文本中），5次sleep，17次pet，8次furry，那么dog在这个空间中的向量是（6，5，17，8）。以这种方式表示意义的优点是向量空间给了我们一个词与词之间距离的概念，因此内积（或其他度量）可以用来确定一个词与另一个词在意义上的接近例如，我们可以在与狗相同的空间中形成猫的向量，然后观察到它们在该上下文中具有相似的含义，这是有道理的，因为猫和狗都是宠物，它们都睡觉，奔跑并且毛茸茸的。沿着这些路线的计算模型已经使用大的向量空间（数万个上下文词/基向量）和大的文本主体（多达在一些实验中有10亿字）。使用这些方法构建叙词表的实验已经比较成功。例如，根据[7]的系统，与介绍最相似的10个名词是启动，实施，出现，添加，采用，到达，缺席，包含，创造。2.4有限维向量空间考虑有限维向量空间和线性映射的范畴FVect：对象V是基域R上的有限维向量空间，态射是线性映射，么半群张量是向量空间张量，其单位是向量空间的基域，每个向量空间V的伴随是它的对偶或共轭空间V。由于意义的向量空间模型有固定的基，我们假设每个向量空间都有一个内积。对于一个向量空间V，{ei}i我们设Vl=Vr=V，得到FV ect是紧闭范畴.附加费的单位和金额如下ηl=ηr：R→VV：：1→eiei我和l= |φjIJIJ该图是内积线性扩展到整个张量积和eta映射产生贝尔态。A. Preller，M.Sadrzadeh/Electronic Notes in Theoretical Computer Science 270（2）（2011）1411473一个量化语言的语义函子对于预群字典D_n×T（B）和有限维向量空间FV ect，让以下[[]]：T（D）→FVect是一个强幺半群函子，而且满足[tl]] = [[t]]=[[tr]]，其中t是T（D）的一个对象 我们称T（D）为自由词典范畴，它的对象是词条，即由一个自然语言词和它在前群语言中的语法类型组成的一对。在TQFT术语中，函子[ ]量化了语言的自由字典范畴我们称它为语义函子。例如，基于上述预组类型，该函子可以将以下向量空间分配给它们对应的词汇条目：(John，n）：V（does，nrsjlσ）：VSJV（likes，nrsnl）：VSW（not，σrjjlσ）：VJJV（Mary，n）：W（like，σr<$J<$nl）：V<$$>J <$W<$直观地说，人们可能会认为动词“喜欢”是地图V × W →S 它分别输入V和W类型的两个参数，并从向量空间S输出一个向量。根据张量的万有性质，每个这样的映射对应一个线性映射V<$W→S。由于FV ect是闭合的，因此该线性映射对应于向量（即，线性映射的名称），同构于它的对偶空间V。类似地，助动词“does”创建相同的关联：它输入一个数字动词，并返回相同的数字。”not” creates opposite correlations byinputting an infinitive and肯定及物句如文献[4]所示，给定每个词的上述意义空间，句子“John likes Mary”的意义向量和向量空间此映射的语义版本如下所示V它的图与句子的句法简化图相同，即VVSWW这个句子的意义向量是S中的向量。 For−J−o−h→n∈V，−M−a−r→y∈148A. Preller，M.Sadrzadeh/Electronic Notes in Theoretical Computer Science 270（2）（2011）141.- 是的ΣΣΣ4我ikjKIJIJIJW，−l−ik−→es∈V<$$>S<$W<$，计算如下−J−o−h−n−−l−ik−e−s−−M−−a−r→y=V|1S|−J−o−h→n−l−ik−→esM−−a−r→y如果−l−ik−→es存在于张量空间中，则可以写成如下−l−ik−→es=Cikj−→vi−→sk−→wj∈V<$S<$Wikj所以上面的狄拉克表达式等于Ci kj|−→vi−→sk−→wj|−M−a−r→y=Ci k−J−o−h→n|−→vi−→wj|−M−a−r→y−→sk。我们可以通过假设向量空间V由所有的men{−m→i}i和向量空间W由所有的women{−→fj}j 所张成而得到更具体的结果。ABo truth-value上面句子的意义是通过假设S被两个向量|1、|0，表示真和假。动词−li−k→es=−m→i−→sij−→fjIJ其中−→sij=|1ifmili kesfjand−→sij=|0分，否则。假设约翰是m3玛丽是f4，我们句子的意思就变成了m−→m3|−m→i−→sij。−→fj|−→f4<$=<$δ3i−→sijδj4=−→s34如果约翰喜欢玛丽，则为真，否则为假。这些映射的作用类似于替换：它们将向量“John”和“Mary”的值，即− →m 3和− → f，替换为“lik es”−m → i和− → f的向量中的占位符。否定及物句计算上述句子的否定版本的意义向量和向量空间更复杂。这是因为助动词does和否定介词not位于动词like和主语John之间。 这样一来，动词和主语之间就产生了距离，计算肯定句意义的替换就不能再通过了。第一作者在[15]中提出并使用了这个问题的一个解决方案来提供预群的语义。在向量空间的设置中，句法归约的映射是用逻辑词（在这种情况下是“does”和“not”）的意义的eta映射和线性映射预先组成的，以允许信息在句子内的非相邻词之间流动并在逻辑上起作用。eta映射产生单词的词汇条目的索引类型的空间，并让计算通过替换进行。 在QM [1]的语言中，eta映射创建贝尔态，产生额外的空间A. Preller，M.Sadrzadeh/Electronic Notes in Theoretical Computer Science 270（2）（2011）141149Σ.ΣΣ并允许隐形传态，也就是说，它们使信息能够在局部不接近的量子态之间传播因此，计算意义的过程有两个步骤：我们首先应用一些eta映射，然后计算句子的句法归约映射。第一步的地图有以下类型g：V（VJW）W→VV（SJ）VV（JJ）V（VJW）W并在下文中给出，◦ （1VηVηV 1VJW 1W）上述的第一个合成创建了Bell状态ηVηV，用于将“John”传送到“likes”;第二个合成创建了Bell状态η S = J，用于“not”的碱基交换向量，以及用于然后将结果与第3页上描述的否定句的句法简化图组合，如下所示f：V<$（V<$$>S<$J<$$>V）<$（V<$$> J<$$> V）<$（V<$$>J <$W<$）<$W→S并由下式给出（1SJJ）（V 1S1JV 1J 1JV 1JW）通过上述两个步骤的合成得到意义的全图作为图f_g，它有以下几种类型V<$（V<$$>J<$W<$）<$W→V <$V <$$>（S<$J<$）<$V <$V <$$>（J <$J <$）<$V<$（V <$$>J <$W <$）<$W→S具体地说，句子“John does not like Mary”的含义“John”所属的向量空间V如上面的正面案例。由于−li→ke=−m→i<$−→μijijf−→fj∈VJ其中−→μij=|1m ilikes fj|0⟩o.w.“不”的向量使用贝尔态|10人以上|01年，交换基地，-n→ot=−→mk（|10人以上|01）−→mk∈VJVK“does”的向量使用Bell态|11岁以上|00分，它作为基地的身份-d−o→es=−→ml（|11岁以上|00）−→ml∈VSVL150A. Preller，M.Sadrzadeh/Electronic Notes in Theoretical Computer Science 270（2）（2011）141. 好吧- 是的ΣΣΣ. 1993年|我知道了。 好吧好吧 吉吉|4⟩ Σ则m −→m3<$。 k−→mk.ΣΣi−→mi⊗−→μi4ΣΣ=−→−→.Σ. 好吧ΣΣ⊗⊗⊗⊗⊗⊗⟨|2019-04 - 2401：01：00⎨|011+|101⟩ −→μ= 134⎧是的。3号线|mknot−→mki−→mi−→μi4=⎨假设约翰是m3，玛丽是f4，|10人以上|01不和|00元+|11.如果这样做，句子的含义是通过将含义图（fg）应用于句子中单词含义的张量积来计算的，即（fg）m−→3l−→ml−→mlk−→mknot−→mkij−→mi−→μij−→fj−→f4为−→m−→m不−→m−→m−→μ−→f−→f=lδ3lk−→mkij−→mi做什么kδ3ki−→mi不−→m−→m−→μ=不−→m−→m−→μ=不是说不好。2019- 04 -22 01：02 01：03 02：03 04：03 0405：0506：0506 07：0507：07 08：070809：070809：0809：09|00元+|11）（|10人以上|01）−→μ34=|0001− → μ 3 4 μ+|1110− → μ 3 4 μ+|1101− → μ 3 4μ=|01−→μ3 4μ+|10− → μ 3 4⟩ |10−→μ34⟩=⎩|010+|100⟩ −→μ34= 0⎧|0⟩−→μ34= 1⎩|1⟩ −→μ34= 0也就是说，当v er − → μ 34为假时，“John d o es not lik e Mary”的含义也就是说“约翰喜欢玛丽”的意思是假的直观地说，我们首先计算对应于“喜欢”的线性映射的值然后，我们计算对应于“非”即J → J的线性映射的值在其参数中，由“likes”计算的值。最后，我们把这个值代入对应于“does”的线性映射的自变量中上述计算在[1]的图解语言中描述如下==上面的第一个图在[13，14]的图表2-分类语言中得到了一个更信息化的形状，其中箭头是有方向的，因此信息的流动被更清楚地描绘出来：VV SJ VVJJVVJWW并不而不是、1 0 0 10 1 1 0、、、、−→μ34=A. Preller，M.Sadrzadeh/Electronic Notes in Theoretical Computer Science 270（2）（2011）141151.Σ不V（V，S，sJV）z（V，J，sJV）z（V，JW，W），W、。JCS这张图的摆动卷曲与图1的相同。eta的顶部摆动线将“John”传送到“likes”，eta的底 部 摆 动 线 应 用 “not” 和 “does” 向 量 。 上 面 的 epsilons 摆 动 线 显 示 了 “John” 到“does”，“not”和“like”的多米诺骨牌式替换4比较句子在上一节中，我们为句子赋予了真值意义。人们也可以考虑真实或虚假的程度。例如，在以前的工作[4]中，我们假设向量−→l和−→h，定义如下−lo−v→es=−m→il−o−v→esij−→fj，−h−a−t→es=−m→i−h−a−t→es ij−→fjIJIJ其中n ow−lo−v→esij=−→l，如果mil ovesfj且−lo−v→esij=−→0o，以及−h−a−t→esij=−→h，如果mi讨厌fj且−h−a−t→esij=−→0o。现在我们可以定义动词“喜欢”有−li−k→es= 3−lo−v→es+41−h−a−t→es4所以m3和f4的“约翰喜欢玛丽”的意思 三四三四在向量空间中，其基础是“爱”和“恨”。这些度传播到否定格和“John doesn't like”的意义玛丽（|01分彩|10分）。3/41/4=.1/43/4小时我们的组合意义方法的优点之一是，句子的意义都是同一空间中的向量，因此可以使用内积来计算它们的相似度。在以前的工作中，我们使用这个工具来比较相同类型的句子的意义，即积极的及物句。特别是，我们比较了句子的含义，如在这里，我们展示了否定句可以与其他否定句相比较，也可以与其他肯定句相比较。例如，我们比较“约翰不喜欢”的意思152A. Preller，M.Sadrzadeh/Electronic Notes in Theoretical Computer Science 270（2）（2011）141Σ.ΣΣΣΣ玛丽给定两个语法单词串α = t1，t2，...的词条， tn和β=TJ1，TJ2，· · ·，TJM，we可以说它们是p接近i的。[[α]]|[[β]]归一化后的p=p。这里有一些例子，从以前的工作比较的意义不同肯定及物句.[[−→m3 −lo−v→es4]]|[[−→m3−li−k→es]] =344[[−→m3−lo−v→es−→f4]]|[[−→m3<$−h−a−t→es<$−→f4]]=0现在我们可以比较肯定句和否定句的意思了，下面是一些例子.[[−→m3 −d−o→es4]]|[[−→m3−lo−v→es]] =1个44.[[−→m3 −d−o→es4]]|[[−→m3−h−a−t→es]] =344等.[[−→m3−d−o→es4]]|[[−→m3−li−k→es]] =348引用[1] S. 阿布拉姆斯基湾Coecke，“Acategoricalsemanticsofquantumprotocols”，Proceedingsofthe19thAnnualIEEESymposiumonLogicinComputerScience，IEEEComputerSciencePress，2004。[2] S. Abramsky，S. Vickers，[3] D.克拉克，自然语言的上下文理论语义学，博士。论文，苏塞克斯大学，2007年9月[4] S.克拉克湾，澳-地Coecke，M. Sadrzadeh，Lawless，J. van Rijsbergen（eds.），牛津大学出版社，2008年3月。[5] S. 克拉克，S.普尔曼，[6] B. Coecke ， D. 摩 尔 岛 Stubbe’, ‘Quantaloids describing causation and propagation of physicalproperties’,[7] J. Curran，From Distributional to Semantic Similarity，University of Edinburgh，2004。[8] J. Lambek，[9] J. Lambek，[10] J. Lambek，From Word to Sentence，Polimetrica，Milan，July 2008.[11] C. J. Mulvey，，Supplemento ai Rendiconti del Circolo Matematico di PalermoII，1992.[12] C. 波拉德岛Sag，中心语驱动短语结构语法，芝加哥大学出版社，1994年。[13] Preller Anne，Pregroup Grammars的范畴理论语义学，Philippe Blache和Edward Stabler（编辑）：计算语言学的逻辑方面3492（2005），pp。254-270。A. Preller，M.Sadrzadeh/Electronic Notes in Theoretical Computer Science 270（2）（2011）141153[14] A. Preller，J. Lambek[15] A. Preller，[16] H. Schuetze，[17] D.N. Yetter，[18] C. J. 范瑞斯伯根，信息检索的几何学，剑桥大学出版社，2004年。[19] D. Wideside，几何与意义，语言与信息研究中心/SRI，2004年。