triton inference server的参数有哪些
时间: 2023-08-09 16:06:22 浏览: 368
FaceDetect_TRTIS:FaceDetect是NVIDIA GPU Cloud(NGC)的专用模型之一。 在这个项目中,我们演示了如何使用Triton Inference Server进行部署和利用。
Triton Inference Server的参数包括以下几类:
1. 服务器参数:
- model-repository:指定模型存储库的路径
- model-control-mode:指定模型控制模式,可以是"explicit"或"auto"
- strict-model-config:启用或禁用模型配置文件的严格性检查
- exit-on-error:启用或禁用在错误出现时退出服务器
- repository-poll-secs:指定模型存储库轮询的时间间隔
- log-verbose:指定日志详细程度
2. 模型配置参数:
- name:模型名称
- platform:模型运行的平台,如"tensorflow"、"pytorch"等
- max-batch-size:最大批处理大小
- input:指定输入张量名称、数据类型和形状
- output:指定输出张量名称、数据类型和形状
- instance-group:指定实例组的数量和类型
- version:指定模型版本
3. 推理请求参数:
- model-name:指定要使用的模型名称
- model-version:指定要使用的模型版本
- inputs:指定输入张量的名称和数据
- outputs:指定输出张量的名称
以上是 Triton Inference Server 的一些常用参数,具体参数列表可以在 Triton Inference Server 的官方文档中查看。
阅读全文