vllm部署embedding模型

### 使用 vLLM 部署 Embedding 模型

为了使用 vLLM 来部署嵌入模型，需遵循特定配置和命令来启动服务并使模型能够处理请求。以下是具体操作指南：

#### 安装依赖项
首先安装必要的 Python 库和其他依赖项。这可以通过执行以下命令完成：

pip install vllm

#### 下载预训练模型
选择一个合适的预训练嵌入模型下载至本地环境。可以从 Hugging Face 或其他可信源获取这些模型。

#### 启动服务器
通过指定参数启动支持 OpenAI API 兼容接口的服务端程序。这里提供了一个简单的例子用于快速开始：

from vllm import LLM, SamplingParams

# 初始化大型语言模型实例
llm = LLM(model="path_to_your_embedding_model")

# 设置采样参数（如果适用）
sampling_params = SamplingParams(temperature=0.8)

# 创建推理器对象准备接收输入文本
generator = llm.create_generator()

#### 处理客户端请求
当接收到外部应用发来的 HTTP 请求时，解析其中携带的数据体作为待编码字符串列表传递给 `generate` 方法获得对应的向量表示形式。

def handle_request(texts):
    outputs = generator.generate(texts, sampling_params)
    embeddings = [output.outputs[0].text for output in outputs]
    return embeddings

以上过程展示了怎样利用 vLLM 工具包实现自定义的嵌入式服务[^4]。