\frac{1}{n} \sum_{i=1}^{n}X_i^TX_i 的期望

根据线性代数中向量内积的定义，对于一个 $d$ 维向量 $\boldsymbol{x}$，有 $\boldsymbol{x}^T\boldsymbol{x} = \sum_{i=1}^{d}x_i^2$。因此，可以将 $\frac{1}{n} \sum_{i=1}^{n}X_i^TX_i$ 写成如下形式：

$$
\frac{1}{n} \sum_{i=1}^{n}X_i^TX_i = \frac{1}{n} \sum_{i=1}^{n}\sum_{j=1}^{d}X_{ij}^2
$$

其中，$X_{ij}$ 表示第 $i$ 个样本的第 $j$ 个特征。由于每个特征都是独立同分布的，因此有 $E(X_{ij}^2) = Var(X_{ij}) + (E[X_{ij}])^2$。同时，根据样本均值的定义，有 $E(\frac{1}{n}\sum_{i=1}^{n}X_{ij}) = E(X_{ij})$。因此，可以得到：

$$
E(\frac{1}{n} \sum_{i=1}^{n}X_i^TX_i) = E(\frac{1}{n} \sum_{i=1}^{n}\sum_{j=1}^{d}X_{ij}^2) = \frac{1}{n}\sum_{i=1}^{n}\sum_{j=1}^{d}(Var(X_{ij}) + (E[X_{ij}])^2) = \sum_{j=1}^{d}(Var(X_{ij}) + (E[X_{ij}])^2)
$$

因此，$\frac{1}{n} \sum_{i=1}^{n}X_i^TX_i$ 的期望是每个特征的方差加上期望平方和。