xinference的qwen2模型代码

### Xinference Qwen2 模型代码实现示例

为了展示如何使用 Xinference 和 Qwen2 模型，下面提供了一个简单的 Python 实现案例。此案例展示了加载模型并执行推理的过程。

#### 加载Qwen2模型
首先，安装必要的依赖库：

pip install transformers torch gradio

接着，在Python脚本中导入所需模块，并初始化模型和分词器：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-2.5B-Instruct", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-2.5B-Instruct", trust_remote_code=True).half().cuda()

#### 创建推理函数
定义一个用于处理输入文本并返回生成响应的函数：

def generate_response(prompt):
    inputs = tokenizer(prompt, return_tensors="pt").to('cuda')
    with torch.no_grad():
        outputs = model.generate(
            **inputs,
            max_length=100,
            num_return_sequences=1,
            no_repeat_ngram_size=2,
            top_k=50,
            temperature=0.7
        )
    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return response

#### 使用 Gradio 构建交互界面
最后，利用 Gradio 库创建一个简易的 Web UI 来测试模型性能：

import gradio as gr

demo = gr.Interface(fn=generate_response, inputs="text", outputs="text")

if __name__ == "__main__":
    demo.launch(share=True)

上述代码片段实现了基于 Xinference 的 Qwen2 模型的应用程序构建过程[^1]。