OpenVINO 的这个类 AsyncInferQueue 如何使用

AsyncInferQueue 是 OpenVINO 中的一个类，用于实现异步推断。下面是一个基本的使用示例：

from openvino.inference_engine import IENetwork, IECore, AsyncInferRequest, AsyncInferQueue

# 加载模型和数据
model_xml = 'model.xml'
model_bin = 'model.bin'
ie = IECore()
net = IENetwork(model=model_xml, weights=model_bin)
input_blob = next(iter(net.inputs))

# 创建 AsyncInferQueue 对象
queue = AsyncInferQueue()

# 向队列中添加推断请求
infer_request = queue.get_idle_request()
infer_request.set_completion_callback(callback)
infer_request.set_blob(input_blob, input_data)
infer_request.start_async()

# 等待推断完成
queue.wait()

在上面的示例中，我们首先加载模型和数据，然后创建一个 AsyncInferQueue 对象。接着，我们调用 `get_idle_request()` 方法获取一个空闲的 AsyncInferRequest 对象，然后设置该对象的输入数据和回调函数，并调用 `start_async()` 方法开始异步推断。最后，我们调用 `wait()` 方法等待推断完成。

需要注意的是，在使用 AsyncInferQueue 进行异步推断时，需要手动管理 AsyncInferRequest 对象的生命周期。具体来说，需要调用 `get_idle_request()` 方法获取一个空闲的 AsyncInferRequest 对象，并在推断完成后调用 `put_idle_request()` 方法将该对象返回给队列。在使用 AsyncInferQueue 时，可以通过设置 `max_num_requests` 参数来控制队列中的 AsyncInferRequest 对象数量。