零射杀：YOLO-World与GPT-4V在无人机感知中的人员检测与动作识别

本文探讨了在无人机图像处理领域利用零射大型多模态模型（LMMs）——YOLO-World和GPT-4V进行人员检测和动作识别的重要性。随着深度学习技术的发展，传统方法往往依赖于大规模且质量高的训练数据集，这对于无人机感知任务来说尤其如此。然而，在现实应用中，获取这样的数据可能面临时间和资源的限制。 YOLO-World作为一个在无人机视觉任务中表现出色的模型，它以其高效性和精确性著称。零-shot学习特性使得YOLO-World无需预先在特定的训练数据上进行大规模标注，从而减少了对大量标记样本的依赖，适用于资源有限的环境。在无人机图像中，YOLO-World能够有效地检测出目标人员，这是其在无人系统中执行自主行为的关键能力。 另一方面，GPT-4V虽然被聚焦于视觉任务，但在人员动作分类上表现一般，这可能是因为其设计更偏向于文本理解和生成。尽管如此，GPT-4V在零样本情况下展现出了过滤无关区域和提供场景描述的能力，这在某些应用场景下可能是有用的功能，比如为无人机提供目标周围环境的描述，辅助决策支持。 文章通过使用公开的从空中视角获取的数据集，对这两种LMM进行了评估。结果显示，YOLO-World更适合用于实时的人员检测任务，而GPT-4V则展示了在辅助分析和理解复杂场景中的潜在价值。尽管GPT-4V在动作识别上还有待优化，但其跨模态的综合能力预示着在无人机感知领域的广阔前景。 这项研究为利用LMM进行无人机感知提供了开创性的案例，揭示了零射大型多模态模型在解决实际问题时的独特优势，同时也为未来的研究者指明了方向，即如何更好地结合不同模态信息，提升无人机在复杂环境中的智能感知和反应能力。