PSO RF python

### 实现粒子群优化与随机森林集成

#### 粒子群优化简介
粒子群优化算法(Particle Swarm Optimization, PSO)是一种群体智能优化算法，灵感来源于鸟群觅食行为。该算法通过模拟鸟群在搜索空间中的飞行行为来寻找最优解[^2]。

#### 集成PSO与随机森林(RF)

为了提高随机森林模型的表现力，可以利用PSO对随机森林参数进行优化。下面展示如何在Python中实现这一过程：

import numpy as np
from sklearn.datasets import make_classification
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import RandomForestClassifier
from pyswarm import pso

def objective_function(params):
    n_estimators, max_depth = params.astype(int)
    
    rf_model = RandomForestClassifier(n_estimators=n_estimators,
                                      max_depth=max_depth,
                                      random_state=42)
    scores = cross_val_score(rf_model, X_train, y_train, cv=5).mean()
    return -scores  # 因为pso最小化目标函数

# 创建虚拟数据集用于测试
X_train, y_train = make_classification(n_samples=1000, 
                                       n_features=20, 
                                       n_informative=2, 
                                       n_redundant=10, 
                                       random_state=42)

lb = [10, 3]  # 参数下界：n_estimators min=10; max_depth min=3
ub = [200, 20]  # 参数上界：n_estimators max=200; max_depth max=20

opt_params, _ = pso(objective_function, lb, ub, swarmsize=100, maxiter=50)

print(f'Optimized parameters: {opt_params}')
rf_optimized = RandomForestClassifier(
    n_estimators=int(opt_params[0]), 
    max_depth=int(opt_params[1]),
    random_state=42
)
rf_optimized.fit(X_train, y_train)

此代码片段展示了如何定义一个目标函数`objective_function()`，它接受两个参数——树的数量(`n_estimators`)和最大深度(`max_depth`)作为输入，并返回负平均交叉验证得分（因为PSO执行的是最小化操作）。接着创建了一个简单的分类数据集并设定了参数范围。最后调用了`pso()`来进行优化求解，得到最佳参数配置后训练最终的随机森林模型[^1]。