huggingface clip使用

### 使用 Hugging Face CLIP 模型执行图像文本匹配任务

为了利用 Hugging Face 的 `transformers` 库中的 CLIP 模型完成图像与文本相似度的任务，需先安装必要的库并加载预训练模型。具体实现涉及准备输入数据、处理图像和文本以及计算两者间的相似度。

#### 安装依赖包
首先确保已安装最新版本的 `transformers` 和 `torchvision`：

pip install transformers torchvision

#### 加载预训练模型及处理器
通过指定路径或默认名称来实例化 CLIP 模型及其对应的处理器：

from transformers import CLIPProcessor, CLIPModel

model_name_or_path = "openai/clip-vit-base-patch32"
processor = CLIPProcessor.from_pretrained(model_name_or_path)
model = CLIPModel.from_pretrained(model_name_or_path)

#### 准备输入数据
对于给定的一张图片文件（例如 `"./beach.jpeg"`），读取该图片并通过 PIL 打开它；同时定义待比较的文字描述列表：

import requests
from PIL import Image

url = "http://images.cocodataset.org/val2017/000000039769.jpg"  # Example URL for an image
image = Image.open(requests.get(url, stream=True).raw)

captions = ["a photo of a cat", "a picture of two cats playing on the floor"]

#### 处理输入并获取特征向量
使用 Processor 对象统一处理图像和文字序列，随后调用 Model 获取各自的嵌入表示形式：

inputs = processor(text=captions, images=image, return_tensors="pt", padding=True)

outputs = model(**inputs)
logits_per_image = outputs.logits_per_image  # this contains the similarity scores between each caption and the image.
probs = logits_per_image.softmax(dim=-1)     # softmax to get probabilities instead of raw logits.

print(probs)

上述代码片段展示了如何基于 Hugging Face 提供的支持多模态理解能力的强大工具——CLIP 来评估不同语句同单一视觉内容间的关系强度[^2]。