batch_size是否越大越好

并不是batch_size越大越好。batch_size的大小会影响模型的优化程度和速度，同时也会影响GPU内存的使用情况。当模型没有BN层，数据集类别较少时，batch_size可以设置得较小一点，以保证一个batch里面各个类别都能取到样本。当有足够算力时，选取batch_size为32或更小一些。算力不够时，在效率和泛化性之间做trade-off，尽量选择更小的batch_size。当模型训练到尾声，想更精细化地提高成绩时，可以设置batch_size为1，即做纯SGD，慢慢把error磨低。因此，batch_size的大小需要根据具体情况进行选择。