加载embedding模型 :param model_name: :return:

加载预训练的嵌入模型通常涉及以下几个步骤：

1. **选择库**：首先，你需要选择一个支持加载模型的库，如Python中的`torch`, `tensorflow`, 或者`transformers`（针对Hugging Face的模型）。

2. **安装依赖**：确保已经安装了相应的库及其版本。例如，如果你要用`transformers`，可以运行`pip install transformers`。

3. **导入模型**：根据你选择的库，导入对应的模型加载函数。对于`transformers`，你可以用`AutoModel.from_pretrained(model_name)`。

4. **加载模型**：

   from transformers import AutoTokenizer, AutoModel

   # 使用模型名称（例如BERT, GPT-2等）
   model_name = "bert-base-chinese" or "gpt2"
   
   # 初始化tokenizer，用于处理文本并将其转换为模型接受的输入格式
   tokenizer = AutoTokenizer.from_pretrained(model_name)
   
   # 使用tokenizer加载模型权重
   model = AutoModel.from_pretrained(model_name)

5. **模型准备**：有时需要对模型进行一些调整，比如冻结某些层、设置设备（CPU或GPU）等。

model.eval()  # 如果不需要训练，设置为评估模式
model.to(device)  # 将模型移动到指定设备上（如device=torch.device('cuda') for GPU）