"基于视觉对话模型的心理记分研究：对话表示增量编码与共享知识"

PDF格式 | 1.17MB | 更新于2025-01-16 | 90 浏览量 | 举报

+v：mala2277获取更多论
文
视觉对话模型可以记分吗？探索对话表示如何增量编码共享知识
Brielen Madureira David Schlangen计算
语言学
德国波茨坦大学
{madureiralasota，david.schlangen}@ uni-potsdam.de
摘要
认知上合理的视觉对话模型应该在对话语
境中保持一个共享的既定事实的
心理记分
牌
我们提出了一种基于理论的评估方法，
用于调查在VisDial数据集上预训练的模型
在多大程度上逐步构建适当
记分
的代表。
我们的结论是，在分析的模型中，区分对
话中共享的和私下知道的陈述的能力是适
度的，但并不总是增量一致的，这可能部
分是由于在原始任务中对
基础交互的
1
介绍
“There’s 你在电话里对朋友说的“太好了。“狗
是什么颜色的？”他们说的 你回答从你第一次
说话开始，你就已经承诺了自己是一只狗;一
个你以后不能简单地忽略的承诺。语言学和心
理语言学的对话模型把这种基础或记分的过
程
--
使命题相互了解
-
在这篇简短的论文中，我们调查了最近的视
觉对话的
NLP
模型是否具体来说，我们使用
VisDial
数据集（
Daset al.
，
2017 a
），它由英
语对话组成，对话是关于类似于第一段中的非
对称设置中的图像，并从中得出诊断命题，这
些诊断命题应被视为对话中给定点处的相互知
识，以及在给定时间只有一个参与者知道其真
值的其他命题。然后，我们探测由在
VisDial
任务上预训练的模型构建的
2
相关文献
自 Vinyals and Le （ 2015 ） 、 Sor-doni et al.
（
2015
）和
Serban et al.
（
2016
）的工作以来，
将对话上下文隐式表示为以端到端方式训练的
神经网络的连续隐藏状态该范例还使得多模态
输入（如图像）能够被容易地集成（Shekhar
等人，，
2019 b
）。然而，有证据表明，在这
些模型中，人类的
协作基础
能力仍然缺乏，部
分原因是培训制度和数据集的限制（
Benotti
和
Blackburn，2021）。
我们见证了广泛的努力，看看这些模型如何
编码和利用对话历史，捕捉显着的信息，并产
生 视 觉 接 地 表 示 （ 桑 卡 尔 等 人 。 ， 2019;
Agarwal et al. ， 2020; Greco et al. ， 2020a ，
b ） 。 对 当 前 对 话 模 型 的 分 析 和 评 估 （ 如
Hupkes et al.
（
2018 a
），
Shekhar et al.
（
2019
a
），
Parthasarathi et al.
（
2020
），
Saleh et al.
（
2020
），
Wu
和
Xiong
（
2020
）
等
）通常依赖
于诊断分类器（Hupkes et al. ，2018 b）和探
测任务（Belinkov和Glass，2019），这是检查
神经网络构建的表征是否编码语言信息的常用
工具。
另一个有目的的对话研究领域
Zhang
和
Chai
（2009，2010）讨论了
会话蕴涵
，
即
判断一个
会话话语是否蕴涵一个假设。在对话数据集中
注释或生成蕴涵、矛盾和中性陈述在最近的作
品中是常见的（
Welleck et al.
，
2019; Dogli et
al.
，
2019; Galetzka et al.
，
2021
年）。
从这三个支柱的见解，我们提出了一个探索
任务记分（刘易斯，1979年）的视觉对话，正
式在下一节。
3
问题陈述
基于这样一个前提，即人类保持着一个预先假
设的命题和每
-

+v：mala2277获取更多论

文

}

{

| | ×|∈ |

∈

×→

我

的

天

探测分类器

概率分布

级联

预先训练，固定

对

A/private

为

sentence

encoder

对话编

码器

false toA/

共享

A/private

True toA/

共享

对话状态表示

命题嵌入

图1：一个记分牌表示，其中包含为对话和分类器架构生成的命题它代表了在第3轮被正确分类为（对A

为

真，私有）的命题it is sunny来自VisDial训练集，ID 8778（CC-BY 4.0），照片176904来自MS COCO

数据集，<$→ Matt Tillett（CC-BY 2.0）的Tufted Titmouse

作为对话中所述内容的函数（Lewis，1979）

和

Ginzburg

（

2012

）中讨论的公共

私人二分

法，我们提出了VisDial数据集中的每个对话

都是一个元组

=（

，

），表示提问者

和

回答者

之间的相互作用。它们交换了关于

图像

中所描绘的场景的话轮

，从而确立了

命题

。

看到了

，但

没有。两者都提供

有标题

，为了简单起见，我们将其视为

的第一轮，

其他轮包括一个问题，

可以用维度为TP的矩阵S

表示

。每个元素

，

是一个元组

c C

（

true to A

，

private

），（

true to A

，

shared

），（

false to

，

private

），（

false to A

，

shared

）表示命

题

p n

在

turn t m

处的

“

得分

”

作为一个类，如

图

中的示例。因此，

认为是真的但还没

有被提及的事实的否定被标记为（对

来说

是

假的，私有的）。

]

这样，给定回合

的

记分牌由

中的第

行给出，整个矩阵有助于

可视化记分牌如何在整个

中递增更新。

探测任务和模型。我们设计了一个经典的

一个答案，

（

，

），所以

（t

）

对话有

个回合）。

（

如

阳离子任务，以检查预训练的视觉对话模型的

连续表示是否

我们假设：

）

不会在他们对图像的解释

上撒谎

; ii

）

不会问多余的问题

; iii

）

披露

的事实

立即成为一个共同的承诺，即使

在现实

中并不总是这样（

例如，

当

误解发生时）。

在这些假设下

，每个

都

揭示了一个关于

对图像的判断的新事实

（及其含义）

，这个事

实在

t i-1

之前

是不知道的

。然后

，

被定义为

个命题

的集合

，

。每一

个

要么是

的直接蕴涵（即，表达命题），

它被

确定为

真

，要么是它的否定，它被

确定为

假

。

的真值在整个对话中

都知

道，但对于所有

k i

来说，只有

私下

才知

道。它在

时在

和

之间

共享

，并且保持

这种状态直到对话结束

图

有了这个，

1 VisDial

测试装置除外，其中

递增地编码关于由S表示的记分

板

的信息

。探

测分类器是函数

：

研发

，

，其中

是

对话

中的命题集合，

是视觉差异编码器

的隐藏表示的空间，并且

是记分板类。基于

He-witt

和

Liang

（

2019

）中的探测分类器架

构，我们将

近似为一个

神经网络，该网络将

对话表示

连接到命题的连续表示

，并将其映

射到具有类概率分布的向量

，

softmax

（

[

;

]））（偏差项省略），如

图

所示。然后用

argmax

函数预测类

数据

可视对话框和编码器。我们使用Vis-Dial数据

集v.1.0（Das et al. ，2017 a）和三

个

Q和A编

码器（

RL_DIV

、

和

ICCV_RL

）

尽管关于图像的语句集可以是

的记分牌是类似的，除了它不能显式地揭示事实（及其否定）。区分私人命题的真

假维度

+v：mala2277获取更多论

文

{1}

| 联系

我们

∈

{

|联系

我们

∈

来自 Das et al. （ 2017 b ）和 Murahari et al.

（

2019

年）。第一项工作实现了一个端到端模

型，使用强化学习来训练A和Q后者是一个后

续研究，增加了一个辅助客观功能，以鼓励Q

提出更多样化的问题。

VisDial训练集包含来

自 MS COCO 数据集的图像（ Lin et al. ，

2014

）。命题嵌入

是用句子

变换器构建的

（

Reimers

和

Gurevych

，

2019

）。

生成探针。集合

是通过使用识别VisDial中

常见词汇和句法模式的规则操纵QA对来编程

生成的，其方式与Demszky等人（2018）和

Ribeiro

等人（

2019

）相似每当

对的模式与

规则匹配时，就会生成一个

直接蕴涵

和一个

直

接矛盾

，如图

所示。

数据集构建。我们检索预先训练的对话上下

文表示R

0 L 其中

是编码器在处理

对话直到

中的第

轮（以及图像和

的下一个

问题）之后然后，我们将

中的元素与生成的

命题

在

中的嵌入配对，形成元组（

，

）0 L 十

，

一

N 它们被映射到相

应的类C C. 的

一个命题p

re的状态为true toAorfalse toA

火车

有效

测试

对话

95,369

1,979

6,880

命题

344,988

23,060

44,954

命题类型

27,011

12,048

19,183

数据点

3,794,868

253,660

312,102

词汇大小

2,709

2,168

2,922

avg.

3.61

11.65

6.53

对A真实且私有

26.12

22.94

21.42

对

真实且共享

23.87

27.05

28.57

对A

为

假且为私有

26.08

22.94

21.42

对A

是

假的，并且共

享

23.91

27.05

28.57

表1：构建的数据集（在平衡训练集之后）和每个

类的比例的

（TFxPS），加上三个具有减小维度的变体：

仅真/假（TF），仅私有/共享（PS）和仅在私

有情况下合并真/假（PxTSFS）和iii）控制任

务（

Hewitt

和

Liang

，

2019

）（

）用随机向量

替换

（

）用零向量替换

，两者都只在训练

集上，以量化在训练期间可以单独从命题中提

取多少信息。评价结果进行了评估与类预测的

准确性。为了避免了解对话中的立场可能产生

的任何影响（在对话的早期，提议更有可能是

私人

的，反之亦然），

所有转弯处的电源固

定，

因为它是一个事实

我们在第5轮评估结果（在第5轮，

（根据A

的信念）的形象，而私人的地位持有（

，

），。

. .

，

（

−1

，

）

是事实被提及或未被提及的更平衡的机会）。

对于误差分析，我们重新计算

struct完成预测的记分牌并评估

（ r

，

）

，

. . .

，

（

r10

，

）

因此，探测数据集由所有

的数据

点（r

，

c）

组成，用于所有转弯

R R

，对于所有

p P

从标题生成的命

题被下采样，因为它们的数量超过了其他轮

次，导致太多的命题总是共享的。为了避免在

真/假维度上的偏差，我们对训练命题集进行

了抽样，以确保每种类型在不同的对话中对A

来说是真的次数与对A

来说

表1提供了一个总

结（详情见附录）。

实验

我们在三个方面训练和测试分类器：i）A或

，

）

中所有类的主要任务

个代码和模型检查点在BSD li下可用

增量方面：在每列中，在右转弯处只应该发生

一次从私有到共享的转换（除了标题命题，它

总是共享的），并且真/假状态不应该改变。

实施.分类器是用PyTorch实现的（Paszke et

al.

，

2019

年），并使用

Adam

优化器（

Kingma

和Ba，2014）以最小化交叉熵。

结果

表2列出了所有模型和任务在第5 轮的准确

性。编码器之间的主要任务的性能非常相

似，差异低于1.5%。Q在主任务中的所有模型

中都优于

。虽然这是意料之中的，但由于

cense athttps://github.com/vmurahari3/visdial-diversity.

基于规则的方法只能生成

理论

的子集，但数量足

够用于探测任务。

详情和示例见附录。

有关超参数、模型配置和再现性的详细信息，请参

见附录。我们的代码和文档可以在

https://github.com/briemadu/scorekeeping

上找到。

剩余14页未读，继续阅读

cpongm

粉丝: 6

"基于视觉对话模型的心理记分研究：对话表示增量编码与共享知识"

基于8051单片机的电子记分板 可用于乒乓球、羽毛球赛事上比赛

基于pic单片机的篮球记分计时器

基于单片机的篮球比赛记分器的设计毕业设计.doc

用汇编语言生成一个基于51单片机的比赛记分牌

如何设计一个具有12分钟倒计时功能的篮球比赛电子记分牌？

请帮我做一份关于电子记分牌的市场分析 包括宏观分析，行业环境分析，stp模型分析，竞争环境分析，swot分析

在设计篮球比赛电子记分牌时，如何利用数字电子技术实现12分钟倒计时功能，并集成声光提示确保时间管理的准确性？

如何设计并实现一个基于AT89S52单片机的LED数码管记分牌，包括硬件和软件的具体实现步骤？

在设计基于AT89S52单片机的LED数码管记分牌时，如何通过8255芯片来扩展I/O端口并实现数据的动态扫描显示？请提供详细的设计步骤和示例代码。

在设计篮球比赛电子记分牌时，如何使用555集成电路实现12分钟倒计时功能，并结合声光提示确保时间管理的准确性？

最新资源

基于8051单片机的电子记分板可用于乒乓球、羽毛球赛事上比赛

请帮我做一份关于电子记分牌的市场分析包括宏观分析，行业环境分析，stp模型分析，竞争环境分析，swot分析