双重机器学习算法步骤

### 双重机器学习算法的详细步骤

双重机器学习（Double Machine Learning, DML）是一种用于处理高维数据并进行因果效应估计的方法。该方法通过结合机器学习技术来解决传统统计模型中的内生性和偏差问题。

#### 1. 数据准备
首先，收集包含协变量 \(X\)、处理变量 \(D\) 和结果变量 \(Y\) 的观测数据集 \((Y_i, D_i, X_i)\)，其中 \(i=1,\ldots,n\)[^2]。

#### 2. 划分样本
将整个数据集随机划分为两个独立子样本：一个用于训练预测模型；另一个用来评估这些模型的表现以及最终计算目标参数的估计量。这种划分有助于减少过拟合的风险，并提高估计精度[^1]。

#### 3. 预测初步估计
对于每个子样本分别执行以下操作：

- 使用任意合适的监督学习算法（如Lasso回归、随机森林等），基于协变量 \(X\) 来预测处理变量 \(D\) 的条件期望值 \(\hat{m}(X)=E[D|X]\)；

- 同样地，也需构建针对结果变量 \(Y\) 的预测模型 \(\hat{\mu}(X,D)=E[Y|X,D]\)。

from sklearn.model_selection import train_test_split
import numpy as np

# 假设 data 是 pandas DataFrame 类型的数据框
train_data, test_data = train_test_split(data, test_size=0.5)

def fit_predict(model_class, features, target):
    model = model_class()
    model.fit(features, target)
    predictions = model.predict(features)
    return predictions
    
d_hat_train = fit_predict(LassoCV(), train_data[X_cols], train_data['D'])
y_hat_train = fit_predict(RandomForestRegressor(), pd.concat([train_data[X_cols], train_data[['D']]], axis=1), train_data['Y'])

d_hat_test = fit_predict(LassoCV(), test_data[X_cols], test_data['D'])
y_hat_test = fit_predict(RandomForestRegressor(), pd.concat([test_data[X_cols], test_data[['D']]], axis=1), test_data['Y'])

#### 4. 计算残差项
利用上述获得的预测结果，在各自对应的测试集中求解实际观察到的结果减去预期值得到残差向量 \(\tilde{Y}=Y-\hat{\mu}\left(X_{},D_{}\right)\) 和 \(\tilde{D}=D-\hat{m}({X})\)[^3]。

residuals_y = y_true - y_pred
residuals_d = d_true - d_pred

#### 5. 应用Frisch-Waugh-Lovell定理
最后一步是对之前得到的所有个体层面的残差再次实施线性回归分析，从而得出所关心的目标参数（比如平均处理效果ATE）。这相当于只保留了那些无法被已知特征完全解释的部分之间的关系。

ols_model = smf.ols('residuals_y ~ residuals_d', data=test_data).fit()
ate_estimate = ols_model.params['residuals_d']