用Python实现fisher算法

Fisher算法是一种经典的特征选择算法，主要用于二分类问题。它的基本思想是通过计算特征的Fisher得分，来确定哪些特征对于区分不同类别的样本最为重要，从而进行特征选择。

以下是用Python实现Fisher算法的示例代码：

import numpy as np

def fisher_score(X, y):
    """
    计算每个特征的Fisher得分
    :param X: 特征矩阵，每行表示一个样本，每列表示一个特征
    :param y: 标签向量，每个元素表示一个样本的类别（0或1）
    :return: 每个特征的Fisher得分，按照得分从高到低排列的特征下标列表
    """
    n_samples, n_features = X.shape
    class0_indices = np.where(y == 0)[0]
    class1_indices = np.where(y == 1)[0]
    mean0 = np.mean(X[class0_indices], axis=0)
    mean1 = np.mean(X[class1_indices], axis=0)
    var0 = np.var(X[class0_indices], axis=0)
    var1 = np.var(X[class1_indices], axis=0)
    fisher_scores = (mean1 - mean0) ** 2 / (var0 + var1)
    fisher_scores[np.isnan(fisher_scores)] = 0
    feature_indices = np.argsort(fisher_scores)[::-1]
    return feature_indices

# 示例用法
X = np.random.rand(100, 10)
y = np.random.randint(0, 2, size=100)
feature_indices = fisher_score(X, y)
print(feature_indices)

上述代码中，`fisher_score`函数接受一个特征矩阵`X`和一个标签向量`y`作为输入，计算每个特征的Fisher得分，并返回按照得分从高到低排列的特征下标列表。具体实现过程如下：

1. 计算类别0和类别1的样本的均值和方差，分别存储为`mean0`、`mean1`、`var0`和`var1`。
2. 计算每个特征的Fisher得分，即`(mean1 - mean0) ** 2 / (var0 + var1)`。
3. 如果某个特征的方差为0，则Fisher得分为NaN，需要将其设为0。
4. 对所有特征的Fisher得分进行从高到低的排序，并返回特征下标列表。

通过上述代码，我们可以很方便地实现Fisher算法，并用于特征选择。