用逐步回归的方法实现多元线性回归类

以下是用逐步回归的方法实现多元线性回归的 Python 代码：

import numpy as np

class StepwiseRegression:
    
    def __init__(self, alpha=0.05):
        self.alpha = alpha
        self.selected_features = []
    
    def fit(self, X, y):
        n_samples, n_features = X.shape
        self.selected_features = []
        remaining_features = list(range(n_features))
        # 开始逐步回归
        while len(remaining_features) > 0:
            best_score = float('inf')
            best_feature = None
            # 对于每个未选择的特征，计算加入该特征的分数
            for feature in remaining_features:
                X_subset = X[:, self.selected_features + [feature]]
                score = self._score(X_subset, y)
                if score < best_score:
                    best_score = score
                    best_feature = feature
            # 如果加入特征后的分数比当前好，则加入该特征
            if best_score < self._score(X[:, self.selected_features], y):
                self.selected_features.append(best_feature)
                remaining_features.remove(best_feature)
            else:
                break
    
    def predict(self, X):
        X_selected = X[:, self.selected_features]
        return np.dot(X_selected, self.coef_) + self.intercept_
    
    def _score(self, X, y):
        X = np.concatenate((np.ones((X.shape[0], 1)), X), axis=1)
        XtX = np.dot(X.T, X)
        inv_XtX = np.linalg.inv(XtX)
        XtY = np.dot(X.T, y)
        beta = np.dot(inv_XtX, XtY)
        self.coef_ = beta[1:]
        self.intercept_ = beta[0]
        y_pred = np.dot(X, beta)
        rss = np.sum((y - y_pred) ** 2)
        tss = np.sum((y - np.mean(y)) ** 2)
        r2 = 1 - rss / tss
        return -r2

在上面的代码中，StepwiseRegression 类的 fit 方法接收一个输入矩阵 X 和一个输出向量 y，并使用逐步回归算法选择最佳特征集。在逐步回归算法中，我们从一个空的特征集开始，然后对于每个未选择的特征，计算加入该特征后的分数，并选择分数最佳的特征加入特征集。如果加入特征后的分数比当前好，则加入该特征，否则停止算法。在 _score 方法中，我们使用最小二乘法计算回归系数，然后计算 R2 分数。在 predict 方法中，我们使用选择的特征集和计算的回归系数预测新的输出值。