人类手在交互式物体理解中的关键作用与数据驱动挑战

交互式物体理解是计算机视觉领域的重要课题，涉及理解物体的功能和操作方式。本文聚焦于人类手部在这一过程中的关键作用。作者提出通过观察自中心视频中的人类手部动作，可以为机器学习提供宝贵的信息，帮助理解物体的状态敏感特征和交互可能性。 首先，人类手部作为一个“探针”，能够快速定位并稳定活动中的物体，这对于机器学习来说是非常重要的线索。通过跟踪手部与物体的互动，研究者可以推断出物体可能的交互位置和操作方式，这些都是实现有效交互所必需的。例如，通过观察手部距离的变化，可以形成一个状态敏感的特征空间，使得机器能够识别物体的不同用途，而不仅仅是其基本类别。 其次，手部可以揭示物体的抓取区域和适宜的操作位置，这对于机器的探索行为和策略制定具有指导意义。比如，对于柜子这样的物体，它的状态（如关闭、打开、满载等）和提供给用户的抓取点（如把手）对于机器人执行打开或放置物品的任务至关重要。然而，现有的大规模标记数据集在这方面相对匮乏，因为物体的状态和操作方式通常依赖于复杂的上下文，且手动标注这类信息既耗时又难以避免主观偏差。 因此，本文提出了一种新颖的方法，利用人类手部在自我中心视频中的动态信息，解决大规模标记数据集的缺失问题。通过这种方法，研究者能够在EPIC-KITCHENS数据集上训练模型，学习到状态敏感的特征和物体的抓取区域，从而更深入地理解物体的交互性。这一研究不仅推进了计算机视觉在交互式场景下的应用，也为未来的机器人交互设计和自主学习提供了新的视角和数据驱动的支持。