第3关：sklearn中的随机森林机器学习之随机森林

随机森林是一种集成学习方法，它通过构建多个决策树来提高预测准确性。下面是sklearn中随机森林的一些基本步骤、参数、属性和接口：

1. 基本步骤：
1.1 参数n_estimators：指定森林中树的数量。
1.2 建立森林：使用RandomForestClassifier()函数建立随机森林。
1.3 n_estimators的学习曲线：使用validation_curve()函数绘制n_estimators的学习曲线。

2. 重要的参数、属性、接口：
2.1 random_state：在划分训练集和测试集的类train_test_split、构建决策树的函数、构建随机森林时都可以使用该参数，它可以保证每次运行时得到的结果都是一样的。
2.2 estimators_：查看森林中每棵树的状况。
2.3 bootstrap & oob_score：bootstrap参数控制是否进行有放回的随机抽样，oob_score参数控制是否使用袋外样本来评估模型的准确性。
2.4 fit & score：fit()函数用于拟合模型，score()函数用于评估模型的准确性。
2.5 feature_importances_：查看每个特征的重要性。
2.6 apply：返回每个样本所在的叶子节点的索引。
2.7 predict：对新数据进行预测。
2.8 predict_proba：返回每个类别的概率。

3. 随机森林回归器：
3.1 重要的参数、属性、接口：与分类器类似，但是需要使用RandomForestRegressor()函数来建立随机森林回归器。

4. 机器学习中调参的基本思想：
泛化误差：模型在新数据上的误差。
标签和特征：标签是我们要预测的变量，特征是我们用来预测标签的变量。