lda线型判别具体例子

假设我们有一个数据集，其中包含两个类别：类别 A 和类别 B。每个类别都有两个特征 x1 和 x2。我们可以使用 LDA 来找到一个投影轴，将数据投影到一维空间中，使得类别 A 和类别 B 之间的距离最大，类别内部的距离最小。

具体来说，我们需要执行以下步骤：

1. 计算每个类别的均值向量：μA 和 μB。

2. 计算两个类别之间的散布矩阵 Sb 和类别内部的散布矩阵 Sw。

3. 计算 Sb 和 Sw 的特征向量和特征值。

4. 选择前 k 个特征向量，将数据投影到 k 维空间中。

例如，我们有以下数据：

| 类别 | x1 | x2 |
| ---- | -- | -- |
| A | 1 | 2 |
| A | 2 | 3 |
| A | 3 | 4 |
| B | 2 | 1 |
| B | 3 | 2 |
| B | 4 | 3 |

我们可以先计算每个类别的均值向量：

μA = (2, 3)

μB = (3, 2)

然后计算类别内部的散布矩阵 Sw 和类别之间的散布矩阵 Sb：

Sw =

| 1.33 | 0.67 |
| ----- | ---- |
| 0.67 | 0.67 |

Sb =

| 1.00 | -1.00 |
| ------ | ----- |
| -1.00 | 1.00 |

接下来，我们需要计算 Sb 和 Sw 的特征向量和特征值。假设我们选择前一维特征向量进行投影，则我们将数据投影到 x 轴上。最终，我们得到以下投影结果：

| 类别 | x1 |
| ---- | -- |
| A | -1 |
| A | 0 |
| A | 1 |
| B | -1 |
| B | 0 |
| B | 1 |

可以看出，类别 A 和类别 B 在 x 轴上分布更加分离，这表明 LDA 已经成功地将数据投影到低维空间中，使得类别之间的差异更加明显，有助于后续的分类任务。