迁移学习预训练固定值

迁移学习是一种深度学习技术，它利用已经在大规模数据集上预训练好的模型来解决新的、相似但规模较小的问题。预训练通常发生在像ImageNet这样的大型图像数据库上，模型通过自我监督学习（如自编码器或基于标签的预测）学会了从原始输入中提取通用特征。

在迁移学习中，模型的初始参数（也称为固定值）通常是不被修改的。这意味着，当将这个预训练模型应用到新任务上时，我们不会随机初始化其权重，而是保留其在原始任务中学得的知识。这样做可以节省大量标注数据和计算资源，因为预训练模型已经对视觉或其他领域的基本模式有了理解，这对于许多下游任务都能提供良好的起点。

在实际应用中，常见的做法是首先冻结预训练层，只调整新添加或最后几层的权重，以便适应特定任务的特点。这种方式能够更快地收敛并达到较好的性能。