sparkalone模式

### 配置和使用 Spark Standalone 模式

#### 解压安装包并设置环境变量
首先，需将下载好的Spark压缩包上传至目标服务器节点的指定路径下。例如，在`centos01`节点上放置于`/opt/softwares`目录内，并通过如下命令完成解压操作：

tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -C /opt/modules/

接着应创建软链接方便后续版本升级替换。

#### 复制配置文件模板
为了使Spark能够正常工作，需要复制一些默认配置文件作为基础设定的基础。具体来说就是把几个`.template`结尾的文件转换成实际使用的配置文件[^3]：

cp spark-defaults.conf.template spark-defaults.conf
cp spark-env.sh.template spark-env.sh
cp workers template workers

这里特别需要注意的是`spark-defaults.conf`这个文件中的参数调整对于整个集群性能有着至关重要的影响。

#### 修改 `spark-defaults.conf`
编辑此文件可以定义一系列全局性的属性来控制应用程序的行为方式以及日志记录等功能特性。比如开启事件日志功能以便追踪作业进度等重要信息存储位置:

spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop1:9000/spark_log

上述HDFS地址可以根据实际情况修改为其他分布式文件系统的URL或者本地磁盘路径；同时要确保所指明的日志保存地点确实存在并且具有足够的写入权限[^2]。

#### 调整 `workers` 文件内容
该文档列出了所有Worker节点主机名或IP地址列表，每行代表一台机器的信息。这一步骤决定了哪些计算资源会被纳入到当前部署环境中参与任务处理过程之中[^4]。

#### 启动服务
当所有的前期准备工作都完成后就可以依次启动Master与Workers组件了。通常情况下可以通过脚本来简化这一流程，也可以手动执行相应的Shell指令实现相同的效果。

最后提交应用测试运行状况时可采用下面的形式传递必要的选项给`spark-submit`工具来进行调度安排[^1]:

spark-submit \
    --class org.apache.spark.examples.SparkPi \
    --master spark://master:7077 \
    --executor-memory 512m \
    --total-executor-cores 1 \
    spark-examples_2.12-3.1.3.jar \
    100

以上即完成了Spark standalone模式下的基本配置与简单运用介绍。