深度强化学习框架：目标导向的VQG与中间奖励

本文主要探讨了一种新颖的深度强化学习框架，该框架专注于解决视觉问题生成（VQG）中的目标导向挑战。传统上，视觉问答（VQA）虽然受到广泛关注，但VQG任务更具复杂性，因为它要求生成一系列能有效引导用户实现总体目标的问题。当前的问题在于，许多现有方法倾向于生成冗长且价值有限的询问，而非提供关键信息。 作者们提出了一种基于三种中间奖励的策略：目标实现奖励、渐进奖励和信息性奖励。目标实现奖励促使模型生成能直接推动整体目标达成的问题，避免了空洞查询的产生。渐进奖励强调问题序列的连贯性和逐步逼近目标，而信息性奖励则确保生成的问题能揭示有助于实现目标的有价值信息。 具体实现中，研究者构建了一个深度强化学习模型，该模型在GuessWhat?! 数据集上进行了实验验证。结果表明，通过这种框架生成的问题不仅能引导用户准确地找到特定目标，还能提高测试和开发者的工作效率，尤其是在成功率方面有显著提升。 文章的关键技术在于设计适应目标导向的奖励机制，以及如何将这些奖励融入到生成问题的过程中，使得模型能够生成既简洁又能有效引导对话的视觉问题。此外，研究还强调了提问者知识和动机在生成问题中的重要作用，表明一个恰当的问题能够最大限度地利用对话历史和图像内容来推动目标的实现。 这篇论文为解决视觉问题生成中的目标导向问题提供了一个创新的解决方案，有望推动该领域的进一步发展，并在实际应用中提高人机交互的效率和有效性。