--latency、--latency-history、--latency-dist

这三个参数都与延迟（latency）相关。

1. `--latency`：这个参数用于设置 ChatGPT 的响应延迟目标。可以通过指定一个时间值来控制模型的回复速度。例如，`--latency 2s` 意味着模型将尽量在2秒内生成回复。

2. `--latency-history`：这个参数用于记录模型的延迟历史。当设置为`true`时，模型将跟踪生成回复的延迟时间，并在每个回复中返回一个字段，以提供关于延迟的信息。

3. `--latency-dist`：这个参数用于返回延迟分布信息。当设置为 `true`时，模型会在每个回复中返回一个字段，包含有关延迟的分布统计信息，如平均延迟、最小延迟、最大延迟等。

这些参数可以帮助您对模型的性能进行监控和优化，以满足您的特定需求。