如果我有多个评价指标，应该如何操作

如果你有多个评价指标，可以使用多目标优化来进行超参数调优。NNI 提供了一些内置的多目标优化算法，如 NSGA-N 和 MOO-E。下面是一个使用 NSGA-N 算法进行多目标优化的示例：

1. 创建一个配置文件（例如 config.yml），指定你的神经网络模型和超参数的搜索空间。确保将 `optimize_mode` 设置为 `maximize` 或 `minimize`，以便指定每个评价指标的优化方向。示例如下：

authorName: your_name
experimentName: multi_obj_tuning

trial:
  command: python3 train.py
  codeDir: .
  gpuNum: 0

tuner:
  builtinTunerName: NSGAN
  classArgs:
    optimize_mode: minimize
    population_size: 10
    mutation_probability: 0.1

searchSpacePath: search_space.json

2. 创建一个搜索空间文件（例如 search_space.json），定义超参数的搜索范围。示例如下：

{
  "learning_rate": {
    "_type": "choice",
    "_value": [0.001, 0.01, 0.1]
  },
  "batch_size": {
    "_type": "choice",
    "_value": [16, 32, 64]
  },
  "hidden_units": {
    "_type": "choice",
    "_value": [[64, 32], [128, 64], [256, 128]]
  }
}

3. 在你的代码中，确保你的训练逻辑可以接受超参数作为输入，并将其用于训练过程。同时，确保你的训练逻辑可以输出多个评价指标的结果。例如：

import argparse

def train_model(learning_rate, batch_size, hidden_units):
    # 在这里使用超参数训练模型
    # 计算多个评价指标的结果
    pass

if __name__ == '__main__':
    parser = argparse.ArgumentParser()
    parser.add_argument('--learning_rate', type=float, default=0.01)
    parser.add_argument('--batch_size', type=int, default=32)
    parser.add_argument('--hidden_units', type=int, nargs='+', default=[64, 32])
    args = parser.parse_args()

    train_model(args.learning_rate, args.batch_size, args.hidden_units)

4. 在终端中运行以下命令启动 NNI 的超参数调优：

nnictl create --config config.yml

5. NNI 将使用 NSGA-N 算法来搜索超参数组合，以优化多个评价指标。在每个试验（trial）中运行你的训练代码，并记录多个评价指标的结果。

6. 最后，你可以使用 NNI 提供的 Web UI 或命令行工具来监视试验的进展和结果。NNI 将提供一个称为 "Pareto Front" 的可视化工具，显示在不同评价指标之间达到最佳平衡的一组超参数组合。

这样，你就可以使用 NNI 进行多目标优化，在多个评价指标之间找到最佳的超参数组合。记得根据自己的需求进行配置和调整。