残差函数和代价函数有什么区别

残差函数和代价函数都是用于描述模型预测值与真实值之间的差异的函数，它们在机器学习中都起着重要的作用。

残差函数是机器学习中常用的一个概念。在监督学习中，我们通常会给定一个数据集，其中包含了输入和输出的对应关系。此时，我们可以使用一个模型对输入进行预测，并将预测结果与真实输出之间的差异定义为残差。残差函数通常表示为：

$ r_i = y_i - f(x_i) $

其中，$y_i$表示真实输出值，$f(x_i)$表示输入$x_i$对应的模型预测值，$r_i$表示输入$x_i$对应的残差。

代价函数是衡量模型预测值与真实值之间差异的函数，通常也称为损失函数或误差函数。代价函数的选择通常是根据具体的机器学习任务和模型来确定的。常见的代价函数包括均方误差(MSE)、交叉熵(Cross Entropy)等。代价函数通常表示为：

$ J(\theta) = \frac{1}{2m} \sum_{i=1}^{m} (y_i - f(x_i))^2 $

其中，$\theta$表示模型的参数，$m$表示样本数量，$y_i$表示真实输出值，$f(x_i)$表示输入$x_i$对应的模型预测值，$J(\theta)$表示代价函数。

可以看出，残差函数和代价函数都是描述模型预测值与真实值之间的差异的函数，但它们的描述方式和使用场景是不同的。残差函数是对单个样本进行描述的，而代价函数是对整个数据集进行描述的。残差函数通常用于拟合模型，而代价函数通常用于优化模型。