Xgboost spark Linux安装

以下是在 Linux 上安装 XGBoost 和 Spark 的步骤：

1. 安装依赖项：

sudo apt-get install build-essential python-dev python-setuptools python-numpy python-scipy libatlas-dev libatlas3gf-base

2. 下载并编译 XGBoost：

git clone --recursive https://github.com/dmlc/xgboost.git
cd xgboost
make -j4

3. 安装 XGBoost Python 包：

cd python-package
sudo python setup.py install

4. 下载并解压 Spark：

wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.8/spark-2.4.8-bin-hadoop2.7.tgz
tar -xvf spark-2.4.8-bin-hadoop2.7.tgz
cd spark-2.4.8-bin-hadoop2.7

5. 设置环境变量：

export SPARK_HOME=/path/to/spark-2.4.8-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

6. 下载并编译 XGBoost4J：

git clone --recursive https://github.com/dmlc/xgboost.git
cd xgboost/jvm-packages
mvn -DskipTests clean package

7. 将编译好的 XGBoost4J 添加到 Spark：

cd $SPARK_HOME
./bin/spark-shell --jars /path/to/xgboost4j-spark-0.90.jar,/path/to/xgboost4j-0.90.jar

现在，您已经成功地在 Linux 上安装了 XGBoost 和 Spark，并将 XGBoost 添加到 Spark 中。