actionclip

ActionCLIP是一种新的视频动作识别范式，它将视频动作识别问题视为检索问题而不是分类问题。该方法基于CLIP模型，由浙江大学提出，并在计算机视觉和模式识别领域的论文中进行了介绍\[1\]\[2\]。ActionCLIP利用检索思想进行视频动作识别，并取得了性能上的显著提升，被认为是目前最先进的方法。该方法的代码已经开源，可以在公众号上找到相关信息\[1\]。

ActionCLIP的实现过程是将视频输入到视频编码器中，得到视频的特征向量。然后将标签作为文本输入到文本编码器中，得到文本的特征。接下来，计算文本和图像之间的相似度矩阵，并与预定义的groundtruth计算损失。为了进行对比学习，需要将图像文本对替换为视频文本对。在实现过程中需要解决两个问题，一是如何提取视频的特征，二是如何计算视频文本对的对比损失\[3\]。

总之，ActionCLIP是一种基于检索思想的视频动作识别方法，利用CLIP模型进行特征提取和相似度计算，取得了很好的性能。它的开源代码和相关信息可以在公众号上找到\[1\]。
#### 引用[.reference_title]
- *1* [基于CLIP，浙大提出：ActionCLIP，用检索的思想做视频动作识别！性能SOTA！代码已开源！...](https://blog.csdn.net/moxibingdao/article/details/121601150)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item]
- *2* [论文阅读 ActionCLIP: A New Paradigm for Video Action Recognition](https://blog.csdn.net/Jennifer_Love_Frank/article/details/123874162)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item]
- *3* [论文阅读-ActionCLIP：A New Paradigm for Video Action Recognition（动作识别）](https://blog.csdn.net/qq_43687860/article/details/127621275)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]