mini batch size
时间: 2023-10-16 15:11:23 浏览: 93
机器学习算法中如何选取超参数:学习速率、正则项系数、minibatch size1
Mini batch size是深度学习中用于训练神经网络的一个超参数。它指的是每次迭代(iteration)中用来更新参数的样本数量。在训练神经网络时,通常会把训练数据集分为若干个小批量(mini-batch),每个小批量包含若干个样本。在每次迭代中,会先从所有小批量中随机选择一个小批量,然后使用该小批量中的样本来计算损失函数,并根据损失函数的值来更新网络参数。
选择合适的mini batch size可以对训练效果产生重要影响。如果mini batch size太小,会导致每次更新的方向不稳定,训练过程可能会出现震荡等问题;如果mini batch size太大,会导致内存不足,训练速度变慢等问题。一般来说,mini batch size的选择与数据集的大小、计算资源的限制以及模型的复杂度等因素有关。常用的mini batch size大小为32、64、128等。
阅读全文