ONNX Runtime 多个 batch size 的数据 C++

在 C++ 中使用 ONNX Runtime 同时处理多个 batch size 的数据，你需要使用 ONNX Runtime 的 C++ API。具体步骤如下：

1. 加载模型。使用 `Ort::Env` 类创建一个运行环境，然后使用 `Ort::SessionOptions` 类设置会话选项，最后使用 `Ort::Session` 类加载模型。

Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "test");
Ort::SessionOptions session_options;
Ort::Session session(env, model_path.c_str(), session_options);

2. 获取输入和输出信息。使用 `Ort::Session` 的 `GetInputTypeInfo` 和 `GetOutputTypeInfo` 方法获取输入和输出的类型信息。

auto input_info = session.GetInputTypeInfo();
auto output_info = session.GetOutputTypeInfo();

3. 准备输入数据。将多个 batch size 的数据拼接在一起，然后将拼接后的数据转换成 ONNX Runtime 所需的格式。

// 将多个 batch size 的数据拼接在一起
std::vector<float> input_data;
for (size_t i = 0; i < batch_sizes.size(); i++) {
  input_data.insert(input_data.end(), inputs[i].begin(), inputs[i].end());
}

// 将拼接后的数据转换成 ONNX Runtime 所需的格式
std::vector<int64_t> input_dims = {batch_sizes.size(), input_size};
auto memory_info = Ort::MemoryInfo::CreateCpu(OrtDeviceAllocator, OrtMemTypeCPU);
auto input_tensor = Ort::Value::CreateTensor<float>(memory_info, input_data.data(), input_data.size(), input_dims.data(), input_dims.size());

4. 执行推理。使用 `Ort::Session` 的 `Run` 方法执行推理，获取输出结果。

// 执行推理
auto output_tensors = session.Run(run_options, input_names.data(), &input_tensor, input_names.size(), output_names.data(), output_names.size());

// 获取输出结果
for (size_t i = 0; i < output_tensors.size(); i++) {
  auto output_tensor = output_tensors[i].Get<Tensor>();
  auto output_dims = output_tensor.Shape().GetDims();
  auto output_size = output_tensor.Shape().Size();

  std::vector<float> output_data(output_size);
  output_tensor.CopyTo(output_data.data(), output_size * sizeof(float));

  // 将输出结果按照 batch size 分组
  for (size_t j = 0; j < batch_sizes.size(); j++) {
    auto start_index = j * output_size / batch_sizes.size();
    auto end_index = (j + 1) * output_size / batch_sizes.size();
    auto output = std::vector<float>(output_data.begin() + start_index, output_data.begin() + end_index);

    // 处理输出结果
    // ...
  }
}

需要注意的是，在拼接输入数据时，不同的 batch size 的数据要保证维度相同，即在各个维度上的大小应该一致。在处理输出结果时，需要将输出结果按照 batch size 分组，然后进行相应的处理。