matlab 学习率衰减

学习率衰减是指在训练神经网络时，随着训练的进行，逐渐降低学习率的过程。这个过程可以帮助模型更好地收敛，避免过拟合等问题。在Matlab中，可以通过设置学习率调度器来实现学习率衰减。具体步骤如下：

1. 定义学习率调度器

可以使用built-in的学习率调度器，例如step、exp、inv、poly等。也可以自定义学习率调度器。例如，定义一个step_decay函数，每隔step_size个epoch将学习率降低为原来的decay_rate倍：

function lr = step_decay(epoch, lr_init, step_size, decay_rate)
    lr = lr_init * decay_rate^floor(epoch/step_size);
end

2. 在训练过程中使用学习率调度器

在训练过程中，可以使用trainNetwork函数的'LearnRateSchedule'参数来指定学习率调度器。例如，使用step_decay函数作为学习率调度器：

options = trainingOptions('sgdm', ...
    'InitialLearnRate',0.01, ...
    'LearnRateSchedule','piecewise', ...
    'LearnRateDropFactor',0.1, ...
    'LearnRateDropPeriod',5, ...
    'MaxEpochs',20, ...
    'OutputFcn',@plotTrainingAccuracy, ...
    'Verbose',false);

options.LearnRateScheduleFcn = @(epoch) step_decay(epoch, 0.01, 5, 0.1);

net = trainNetwork(XTrain,YTrain,layers,options);

在上面的代码中，'LearnRateScheduleFcn'参数指定了学习率调度器为step_decay函数。