linux 部署模型

### 如何在Linux服务器上部署机器学习模型

#### 准备工作
为了成功地将机器学习模型部署到Linux环境中，需先确保服务器已安装必要的软件包和依赖项。通常情况下，Python及其相关库是必需的工具之一。对于特定类型的模型，可能还需要额外的支持库或框架。

#### 下载预训练模型
获取ONNX格式或其他适用格式的预训练模型是一个常见的起点。例如，可以通过命令行下载tiny-llama ONNX模型文件[^2]:

cd ../model
wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/wanzutao/tiny-llama/tiny-llama.onnx

#### 设置运行环境
创建虚拟环境来隔离项目所需的Python版本和其他依赖关系是非常重要的实践方法。可以利用`virtualenv`或者Anaconda这样的工具来进行设置。之后，在该环境中安装所有必要的Python包，比如TensorFlow, PyTorch等深度学习框架以及Flask用于构建Web服务接口[^4].

#### 构建API端点
一旦有了可用的服务框架（如Flask），就可以定义HTTP请求处理函数以便接收来自客户端的数据输入，并调用相应的预测逻辑返回结果给用户。下面是一段简单的代码片段展示如何实现这一点：

from flask import Flask, request, jsonify
import onnxruntime as ort
import numpy as np

app = Flask(__name__)
session = ort.InferenceSession("path/to/model.onnx")

@app.route('/predict', methods=['POST'])
def predict():
    data = request.get_json(force=True)
    input_data = np.array(data['data']).astype(np.float32).reshape((1,-1))
    
    inputs = {session.get_inputs()[0].name: input_data}
    outputs = session.run(None, inputs)

    return jsonify({"prediction": outputs})

if __name__ == '__main__':
    app.run(host='0.0.0.0')

这段程序监听于`http://<server-ip>:5000/predict`路径下的POST请求，并通过JSON格式接受数据作为参数传递给内部加载好的ONNX模型进行推理计算后反馈预测值。

#### 启动与监控服务
完成上述配置以后，即可启动web应用并保持其稳定运行状态。建议采用诸如Supervisor之类的进程管理器来自动重启崩溃的应用实例；同时也可以考虑集成日志记录机制方便后续排查问题所在之处。