Gradio+llama3.2

### 如何使用 Gradio 和 Llama 3.2 进行集成

为了实现 Gradio 与 Llama 3.2 的结合，可以遵循以下方法来创建一个简单的交互式应用程序。这不仅展示了如何加载模型并将其功能暴露给用户界面，还提供了具体的 Python 实现细节。

#### 加载预训练的 Llama 3.2 模型

首先，需要安装 Hugging Face Transformers 库以及其他必要的依赖项：

pip install transformers gradio torch

接着，在 Python 脚本中导入所需的库，并指定要使用的具体量化版本的 Llama 3.2 模型[^2]：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
import gradio as gr

定义函数用于初始化模型和分词器对象：

model_name = "hugging-quants/Llama-3.2"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name).to('cuda' if torch.cuda.is_available() else 'cpu')

#### 创建预测接口

构建一个辅助函数 `predict` 来处理输入文本并通过调用上述配置好的模型生成回复：

def predict(input_text):
    inputs = tokenizer(input_text, return_tensors="pt").input_ids.to('cuda' if torch.cuda.is_available() else 'cpu')
    outputs = model.generate(inputs, max_length=50, num_return_sequences=1)
    result = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return result

#### 构建 Gradio 用户界面

最后一步是利用 Gradio 提供的功能快速搭建起直观易用的应用程序前端部分：

iface = gr.Interface(
    fn=predict,
    inputs=gr.inputs.Textbox(lines=7, label="Input Text"),
    outputs="text",
    title="Llama 3.2 Demo with Gradio",
    description="Enter some text to see how the Llama 3.2 model completes it."
)

if __name__ == "__main__":
    iface.launch()

这段代码会启动一个本地服务器实例，允许通过浏览器访问该应用，从而测试 Llama 3.2 对不同提示语句的回答效果。