Spark Standalone 分布式集群搭建

### 如何搭建配置 Spark Standalone 分布式集群

#### 准备工作
确保所有节点已经正确安装并配置好 Java 和 SSH 无密码登录。对于 Hadoop 的部分，只需要配置 HDFS 相关的服务即可[^2]。

#### 解压软件包
在每台机器上分别解压缩 JDK、Hadoop 及 Spark 安装文件：

tar -zxvf jdk-8u241-linux-x64.tar.gz
tar -zxvf hadoop-3.2.2.tar.gz
tar -zxvf spark-3.2.0-bin-hadoop3.2.tgz

完成上述操作之后，设置环境变量以便于后续使用这些工具[^5]。

#### 启动 HDFS 服务
由于通常情况下仍然希望利用 HDFS 进行数据存储，因此需要先启动 HDFS:

# 切换至 hadoop 用户并进入 sbin 文件夹执行如下命令来启动 dfs 服务
$HADOOP_HOME/sbin/start-dfs.sh

这一步骤保证了即使不依赖 YARN, 数据层面上依然能够正常运作。

#### 修改 Spark 配置文件
编辑 `conf/spark-env.sh` 来指定必要的环境参数，比如指向 HDFS 日志位置等信息：

SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://hdfs-cluster/spark-logs"

此配置允许历史服务器读取位于远程 HDFS 上的日志记录[^4]。

#### 启动 Spark Master 和 Worker 节点
前往 Spark 主节点上的 `/sbin` 目录运行脚本来初始化整个集群：

./start-all.sh

这条指令将会自动连接其他 worker 节点，并建立起完整的 Spark Standalone 集群架构[^3]。

通过以上步骤就可以成功构建起一个基于 Spark 自带资源管理器的独立分布式计算平台，在这个过程中并不涉及复杂的外部组件集成问题。