零射击学习：人机交互中的动作表示与泛化

本文主要探讨了人机交互领域中的一项关键挑战——零射击学习问题。在日常生活中，人与物体的交互方式多样且具有丰富的组合可能性，比如“sit on chair”和“stand on table”。然而，现有的动作和人机交互模型往往依赖大量的标注数据，难以扩展到未见过的新动作类别，尤其是在缺乏特定动词-名词对的实例时。 作者们提出了一个创新的方法，利用外部知识图和图卷积网络来解决这个问题。外部知识图提供了丰富的词汇关系和上下文信息，有助于模型理解和推断出动作组合的意义。通过图卷积网络，模型能够学习到动词和名词之间的潜在联系，并将这种联系应用到新的组合上，即使这些组合在训练数据中并未出现过。这种方法旨在构建一个能够泛化到未知动作的模型，支持零射击学习，即在测试阶段处理从未在训练数据中见过的动词-名词对。 为了验证这个方法的有效性，文中还提供了针对图像和视频的数据集作为基准测试。这些数据集包含了一系列复杂的人机交互场景，既包含常见的动作组合，也包括零射击学习所需的新奇组合。作者期望这些数据集和基准测试能激发更多研究者在这个领域的兴趣，推动零射击学习技术的发展，以更好地模拟和理解人类与环境的交互行为。 零射击学习不仅适用于物体识别，也在动作识别领域得到越来越多的关注。它挑战了传统的机器学习模型，要求它们具备更强的泛化能力和对自然语言和动作概念的理解。文章的研究成果对于开发更加智能、适应性强的人机交互系统具有重要意义，这将对未来智能家居、虚拟现实和增强现实等领域产生深远影响。