ollama本地部署调用api

### Ollama 本地部署与 API 调用方法教程

#### 1. 下载安装 Ollama

为了在本地环境中运行 Ollama，需先完成软件本身的安装。Ollama 主要面向 LLaMA 架构的大规模开放源码模型设计，并被多个流行项目集成，提供 OpenAI 兼容的 API 接口以降低理解及开发难度[^5]。

#### 2. 配置环境变量

成功安装之后，配置必要的环境变量以便后续操作顺利进行。通常情况下，官方文档会给出详细的指引来帮助设置这些参数。

#### 3. 获取目标大模型

通过命令行工具获取所需的具体版本大模型文件至本地存储空间：

ollama pull model_name

这里 `model_name` 应替换为实际想要加载的预训练模型名称，比如 llama3 或其他支持型号[^4]。

#### 4. 启动服务端接口

启动 Ollama 提供的服务端应用程序编程接口(API)，使得能够接收来自客户端请求并向其返回处理后的响应数据流。该过程一般涉及执行特定脚本或指令集，在某些场景下可能还需要指定监听地址和端口号等选项。

#### 5. 编写 Python 客户端代码实现 API 请求发送功能

下面是一个简单的例子展示怎样利用 requests 库向已部署好的 Ollama 发送 POST 请求并解析返回的信息：

import json
import requests


def ask_local_model(prompt, api_url='http://localhost:8000'):
    headers = {'Content-Type': 'application/json'}
    payload = {"prompt": prompt}
    
    response = requests.post(api_url, data=json.dumps(payload), headers=headers)

    if response.status_code == 200:
        result = response.json()
        return result['text']
    else:
        raise Exception(f"Error occurred while calling the API: {response.text}")

上述函数定义了一个名为 `ask_local_model` 的辅助函数用于简化同本地实例之间的通信流程，其中包含了基本的身份验证机制以及错误捕捉逻辑[^2]。