nbs = 64 lr_limit_max = 1e-3 if optimizer_type == 'adam' else 1e-1 lr_limit_min = 1e-4 if optimizer_type == 'adam' else 5e-4 if backbone in ['vit_b_16', 'swin_transformer_tiny', 'swin_transformer_small', 'swin_transformer_base']: nbs = 256 lr_limit_max = 1e-3 if optimizer_type == 'adam' else 1e-1 lr_limit_min = 1e-5 if optimizer_type == 'adam' else 5e-4 Init_lr_fit = min(max(batch_size / nbs * Init_lr, lr_limit_min), lr_limit_max) Min_lr_fit = min(max(batch_size / nbs * Min_lr, lr_limit_min * 1e-2), lr_limit_max * 1e-2)转为伪代码
时间: 2024-04-28 09:24:13 浏览: 156
pso.zip_PSO_PSo- optimizer_in_swarm
如果 optimizer_type 等于 'adam',则 lr_limit_max 等于 1e-3,否则 lr_limit_max 等于 1e-1
如果 optimizer_type 等于 'adam',则 lr_limit_min 等于 1e-4,否则 lr_limit_min 等于 5e-4
如果 backbone 在 ['vit_b_16', 'swin_transformer_tiny', 'swin_transformer_small', 'swin_transformer_base'] 中,则 nbs 等于 256,lr_limit_max 等于 1e-3(如果 optimizer_type 等于 'adam'),否则等于 1e-1,lr_limit_min 等于 1e-5(如果 optimizer_type 等于 'adam'),否则等于 5e-4
Init_lr_fit 等于 batch_size / nbs * Init_lr 和 lr_limit_min 中的较大值,再和 lr_limit_max 取较小值
Min_lr_fit 等于 batch_size / nbs * Min_lr 和 lr_limit_min * 1e-2 中的较大值,再和 lr_limit_max * 1e-2 取较小值
阅读全文