监督学习与迁移学习：评估与优化策略

"这篇文档是吴恩达关于深度学习的第三课内容，主要涉及正交化、监督系统评估、单一数字评估标准、满足指标与优化指标的概念，以及迁移学习的应用和策略。" 在深度学习中，正交化是一种优化技术，它的核心思想是在每次迭代时尽可能只调整一个影响因子，这样可以降低不同参数之间的相互影响，有助于提高模型的稳定性和收敛速度。通过正交化，可以更有效地管理复杂的神经网络结构，确保每个参数的调整不会破坏其他参数的优化状态。 对于监督学习系统，评估其性能通常需要关注四个关键方面：训练集上的表现、开发集上的表现、测试集上的表现以及实际应用中的表现。训练集用于训练模型，开发集用于调整模型参数，测试集用于验证模型的泛化能力，而实际应用中的表现则反映模型在真实世界环境下的效果。这些评估都是为了确保模型不仅在特定数据集上表现良好，而且在未知数据上也能保持一致的性能。 在评估模型性能时，一个单一的数字指标非常有用，如准确率和召回率。准确率衡量分类器正确分类的比例，而召回率（查全率）则表示所有真正类别的样本中，被分类器正确识别的比例。F1分数是这两个指标的调和平均数，它平衡了查准率和查全率，提供了一个综合的评估标准。在选择最佳模型时，F1分数高通常意味着模型的性能更优。 在处理多个评估指标时，可以采用满足指标与优化指标的策略。例如，选择一个主优化指标，全力以赴地提升这个指标，而其他指标则设定为满足指标，只要达到预设阈值即可，不再过分追求其最优值。这种方法有助于在不同需求之间找到平衡点，避免在优化某一指标时牺牲其他重要性能。 最后，文档提到了迁移学习，这是一种利用已学习的特征来解决新问题的技术。在深度学习中，当目标领域的训练数据有限或成本高昂时，可以先在一个相关的大数据集上预训练模型，然后再微调模型以适应目标任务。例如，预训练的图像识别模型可以应用于放射科图像诊断，只需更新最后一层（或几层）的权重以适应新的数据分布。这种迁移学习策略能显著减少目标领域所需的数据量和训练时间。