代价函数如何转为矩阵形式

代价函数（Cost Function）通常在机器学习和优化算法中用于衡量模型预测结果与实际值之间的差异。将代价函数转化为矩阵形式是为了便于计算和分析，特别是在处理大规模数据集时，矩阵操作可以更高效。

假设我们有一个线性回归模型，其代价函数常常采用均方误差（Mean Squared Error, MSE），对于单个样本的MSE可以表示为：
\[ J(\theta) = \frac{1}{2m} \sum_{i=1}^{m}(h_\theta(x^i) - y^i)^2 \]
其中 \( h_\theta(x) \) 是模型的预测值，\( y^i \) 是第i个观测值，\( m \) 是总样本数。

为了转换成矩阵形式，我们可以将所有样本的输入特征矩阵 \( X \) 和目标向量 \( y \) 放在一起：

\[ J(\theta) = \frac{1}{2m} (X\theta - y)^T(X\theta - y) \]

这里 \( X\theta \) 就是一个列向量，对应于模型的所有预测值，而 \( (X\theta - y)^T \) 表示转置并求和，等价于对每一对预测值和真实值进行差值平方然后求平均。这种矩阵形式使得批量计算变得简单，适用于梯度下降法等优化算法。