onnxrumtime 多个batchsize数据同时处理
时间: 2023-12-01 09:03:45 浏览: 50
ONNX Runtime 支持同时处理多个 batch size 的数据。你可以将多个 batch size 的数据拼接在一起,然后一起传入 ONNX Runtime 进行推理。在推理时,ONNX Runtime 会将拼接后的数据分离出来,分别进行推理,并将结果按照相应的 batch size 进行分组,最终返回给你。需要注意的是,不同的 batch size 的数据要保证维度相同,即在各个维度上的大小应该一致。
阅读全文