centos spark

要搭建CentOS上的Spark集群，您需要进行以下步骤：
1. 首先，确保您已经安装了CentOS操作系统，并准备好两台Linux主机作为Master和Slave节点。Master节点的主机名为"master"，IP地址为192.168.15.129，Slave节点的主机名为"slave"，IP地址为192.168.15.139。
2. 然后，下载并安装适用于CentOS的Spark版本。您可以从Spark官方网站上下载适用于CentOS的Spark二进制包。解压缩该文件，并将其放在您选择的目录中，比如/usr/spark/spark-1.6.2-bin-hadoop2.6/。
3. 接下来，配置每个节点的环境变量。在每个节点上，打开/etc/profile文件，并添加以下内容：
- export SPARK_HOME=/usr/spark/spark-1.6.2-bin-hadoop2.6
- export PATH=$PATH:$SPARK_HOME/bin
- export JAVA_HOME=/path/to/java/jdk （替换为您Java JDK的安装路径）
- export HADOOP_HOME=/path/to/hadoop （如果您计划与Hadoop集成）
然后，保存并退出文件。
4. 现在，将Spark的配置文件拷贝到每个节点上。在Master节点上，打开$SPARK_HOME/conf目录，并复制spark-env.sh.template文件并重命名为spark-env.sh。接着，编辑该文件并添加以下内容：
- export SPARK_MASTER_IP=192.168.15.129
- export SPARK_MASTER_PORT=7077
在Slave节点上，也进行相同的操作，并将SPARK_MASTER_IP设置为Master节点的IP地址。
5. 在Master节点上，启动Spark集群。使用终端进入到$SPARK_HOME/sbin目录，并运行./start-all.sh命令。这将启动Master节点和Slave节点上的Spark服务。
6. 您可以通过在浏览器中访问http://192.168.15.129:8080来验证Spark集群是否成功启动。这将打开Spark的Web界面，显示有关集群的详细信息。
至此，您已经成功搭建了CentOS上的Spark集群。请注意，这只是一个简单的搭建示例，您可能需要根据自己的具体需求进行配置和调整。