# setup setup: scan # Loss criterion: scan criterion_kwargs: entropy_weight: 5.0 # Model backbone: resnet50 # Weight update update_cluster_head_only: True # Train only linear layer during SCAN num_heads: 10 # Use multiple heads # Dataset train_db_name: imagenet_50 val_db_name: imagenet_50 num_classes: 50 num_neighbors: 50 # Transformations augmentation_strategy: simclr augmentation_kwargs: random_resized_crop: size: 224 scale: [0.2, 1.0] color_jitter_random_apply: p: 0.8 color_jitter: brightness: 0.4 contrast: 0.4 saturation: 0.4 hue: 0.1 random_grayscale: p: 0.2 normalize: mean: [0.485, 0.456, 0.406] std: [0.229, 0.224, 0.225] transformation_kwargs: crop_size: 224 normalize: mean: [0.485, 0.456, 0.406] std: [0.229, 0.224, 0.225] # Hyperparameters optimizer: sgd optimizer_kwargs: lr: 5.0 weight_decay: 0.0000 nesterov: False momentum: 0.9 epochs: 100 batch_size: 512 num_workers: 12 # Scheduler scheduler: constant,这段话是什么意思啊
时间: 2024-04-28 13:26:13 浏览: 229
模型拟合优度-the quick python book 3rd edition (true pdf)
这是一个关于使用SCAN算法进行自监督学习的设置。其中setup指定了使用SCAN算法进行训练。Loss criterion使用了SCAN算法中的熵损失(entropy_loss),并设置了entropy_weight为5.0。Model backbone使用了ResNet50。Weight update中设置了update_cluster_head_only为True,即只更新聚类头部(cluster head),而不更新整个模型。同时使用了10个聚类头(cluster head)。Dataset中使用了Imagenet-50数据集,分类任务的类别数为50,每个样本的最近邻数量为50。Transformations中使用了SimCLR算法中的数据增强策略,包括随机裁剪、颜色抖动、随机灰度变换和归一化等。Hyperparameters中使用了SGD优化器,学习率(lr)为5.0,权重衰减(weight_decay)为0.0000,使用动量(momentum)为0.9的SGD优化器。训练的总轮数为100次,每次使用512个样本进行训练,并使用12个进程(num_workers)读取数据。最后,scheduler使用了常数学习率调度器(constant),即学习率不变。
阅读全文