HuggingFaceEmbeddings 配置使用GPU

Hugging Face Transformers库中的`Transformers`模块包含了一个名为`HuggingFaceEmbeddings`的类，它主要用于加载预训练模型的嵌入层。如果你想要利用GPU加速计算，首先需要确认你的环境已经安装了PyTorch并且能够识别到GPU。下面是如何在使用`HuggingFaceEmbeddings`时配置GPU的基本步骤：

1. **导入必要的库**：

   from transformers import AutoModel, AutoTokenizer, torch

2. **设置设备**：
使用`torch.device`来指定运行设备。如果你有GPU可用，可以这样做：

   device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

`is_available()`函数会检查是否有可用的GPU。

3. **实例化模型和分词器**：
在创建`AutoModel`和`AutoTokenizer`对象时，加上`.from_pretrained(model_name_or_path)`，然后传入设备信息：

   model_name = "bert-base-chinese"
   model = AutoModel.from_pretrained(model_name).to(device)
   tokenizer = AutoTokenizer.from_pretrained(model_name).to(device)

4. **数据准备**：
确保你的输入数据也在相应的设备上（通常是GPU）：

   input_ids = torch.tensor([...]).to(device)
   attention_mask = torch.tensor([...]).to(device)  # 对于BERT模型，这是必需的

5. **执行计算**：
将计算移动到GPU上，比如前向传播：

   with torch.no_grad():  # 可选，关闭梯度追踪以节省内存
       embeddings = model(input_ids, attention_mask=attention_mask)[0]

这样，你的模型和计算就会在选择的GPU上运行。记得在使用完毕后关闭不需要的资源，如关闭`model`和`tokenizer`。