基于时空单词的两人交互行为识别与分析

"基于时空单词的两人行为识别是交互行为识别领域的中文研究论文，通过时空单词的概念来识别和理解双人交互行为。该方法利用视觉数据提取丰富的时空兴趣点，并结合人体剪影的连通性分析，将这些点分配给对应的人体。进一步，通过对兴趣点样本空间进行聚类，生成时空码本。时空单词则是在给定的兴趣点集合上通过投票机制得出，用于表示单人的原子行为。这些行为被建模为条件随机场模型，以便在两人交互行为的上下文中进行语义建模。为了体现领域知识，论文中还构建了一阶逻辑知识库，并利用马尔可夫逻辑网进行行为推理。实验结果验证了这种方法在两人交互行为识别中的有效性。该研究受到多项国家基金和项目的资助，主要研究人员包括韩磊、李君峰和贾云得，他们在计算机视觉、人工智能和人机交互领域有深入研究。" 本文提出的基于时空单词的两人交互行为识别方法，旨在解决多人环境中复杂行为的识别问题。首先，通过对行为视频的分析，提取出时空兴趣点，这些点能够捕捉到行为的关键动态信息。接着，利用人体剪影的连通性信息，将这些兴趣点有效地分配给参与行为的个体，确保了行为归属的准确性。 时空码本的生成是通过聚类算法完成的，这一步骤将兴趣点样本空间组织成一系列的模板或模式，代表了不同类型的单人行为。时空单词的定义，即对单个个体行为的抽象表示，是通过对这些模板进行投票得出的，这有助于简化行为的表示并减少计算复杂性。 条件随机场模型在这里起到了关键作用，它是一种统计建模工具，特别适合处理序列数据，如行为的时空演变。通过这种方式，单人的原子行为可以被建模为概率模型，便于后续的识别和预测。 在两人交互行为的语义建模中，研究者引入了一阶逻辑知识库，这是领域知识的载体，能体现行为间的逻辑关系和约束。马尔可夫逻辑网（Markov Logic Network, MLN）被用来学习和推理这些知识，MLN是概率推理和知识表示的融合，能够处理不确定性和复杂性，从而提高交互行为识别的准确性。 实验部分展示了这种方法在实际应用中的表现，实验结果证实了基于时空单词的方法在两人交互行为识别中的优越性。这项研究不仅提供了新的行为识别技术，也为理解和解析复杂多变的双人交互行为提供了理论基础，对于安全监控、人机交互等领域有着重要的应用价值。