hadoop spark scala

hadoop、spark 和 scala 是三个不同的技术。其中，hadoop 是一个分布式计算框架，用于处理大数据；spark 是另一个分布式计算框架，可以提高数据处理的速度；而 scala 是一种编程语言，可以用于编写代码来操作 hadoop 和 spark。

相关问题

spark scala hadoop 版本对应关系

Spark和Hadoop的版本对应关系如下：

| Spark版本 | Hadoop版本 |
|-----------|------------|
| 2.4.x | 2.7.x |
| 3.0.x | 3.2.x |

Scala版本和Spark版本的对应关系如下：

| Scala版本 | Spark 2.x版本 | Spark 3.x版本 |
|-----------|---------------|---------------|
| 2.11 | ✓ | |
| 2.12 | ✓ | ✓ |

需要注意的是，Spark 2.4.x也支持Hadoop 3.x版本。另外，在使用Spark时，需要根据具体情况选择相应版本的Scala和Hadoop。

Hadoop spark 进程

### Hadoop 和 Spark 进程详解

#### Hadoop 主要进程

Hadoop 的架构依赖多个守护进程来实现其功能，主要包括以下几个核心组件：

- **NameNode**: 负责管理文件系统的命名空间和客户端对文件的访问。它维护着文件系统树及整棵树内所有的文件和文件夹的元数据[^3]。

- **DataNode**: 存储实际的数据块，默认情况下会根据 `dfs.replication` 参数设定副本数量，在集群中的不同节点上存储这些副本以提高可靠性和可用性。

- **ResourceManager**: YARN 架构下的资源调度器，负责整个系统的资源管理和分配工作。通过接收来自 ApplicationMaster 的请求来决定如何分发容器给应用程序使用。

- **NodeManager**: 协助 ResourceManager 完成任务执行环境准备等工作；监控本地节点上的资源消耗情况并向 RM 报告状态变化信息；启动/停止由 AM 提交过来的应用程序实例（Container）。

jps # 查看 Java 应用程序进程中是否有 NameNode, DataNode, ResourceManager 或 NodeManager 等服务运行

#### Spark 主要进程

Spark 生态系统同样涉及多种后台服务和支持工具，其中一些关键角色如下所示：

- **Driver Program (驱动程序)**: 用户编写的包含 main 函数的应用入口点，创建 SparkContext 来初始化与集群之间的连接，并定义逻辑操作流程[^2]。

- **Executor (执行者)**: 在 worker node 上运行的任务单元，负责加载缓存数据、执行具体计算任务并将结果返回给 driver program。每个 executor 可能会被分配多个 task 处理不同的 partition 数据集部分。

- **Cluster Manager (集群管理者)**: 如 Standalone mode 下自带简单的 cluster manager 或者集成外部管理系统像 Apache Mesos/YARN/Kubernetes 等，用于协调 workers 之间的工作负载平衡以及动态调整资源配额。

// 获取当前活跃 executors 列表
spark.sparkContext.statusTracker.getExecutorInfos.foreach(println)

对于 Windows 平台而言，如果遇到缺少特定二进制文件的问题，则可以从 GitHub 仓库下载适合版本的 winutils.exe 文件以便正常使用某些命令行工具[^4]。