查看Hadoop和Spark各节点启动的进程

在Hadoop和Apache Spark集群中查看各个节点上运行的进程，通常需要登录到每个节点并使用系统监控工具如`top`, `ps`, 或者更专业的命令行工具如`jps` (Java进程列表) 和 `hadoop-daemon.sh`（对于Hadoop）。

**Hadoop**:
1. 登录到Hadoop节点（通常是 Namenode、Datanode、TaskTracker等）。
2. 执行`jps`命令，这将列出所有由Java守护进程启动的服务。例如，你可以找到NameNode、DataNode、JobTracker等进程。

   jps

**Spark**:
1. 对于YARN模式下的Spark，可以在ResourceManager或NodeManager节点上执行`jps`，查找Spark相关的进程，如`SparkDriver`, `Executor`等。
2. 如果是 Standalone模式，可以在master节点（如果有的话）上通过SSH连接，然后执行`jps`。
3. 使用`spark-daemon.sh`查看特定服务，如`bin/spark-daemon.sh list executors` 显示Executor进程。

相关问题

hadoop和spark区别

Hadoop和Spark的shuffle都是用于数据处理的工具，但它们的实现方式和作用有所不同。

Hadoop的shuffle是指将Map阶段的输出结果按照Key进行分组，然后将同一组的数据传输到Reduce节点进行处理。这个过程需要将数据写入磁盘，再从磁盘读取数据，因此效率较低。

Spark的shuffle是指将数据按照Key进行分区，然后将同一分区的数据传输到同一节点进行处理。这个过程可以在内存中完成，因此效率较高。

因此，Hadoop的shuffle适用于大规模数据处理，而Spark的shuffle适用于迭代计算和实时计算等需要高效处理数据的场景。

3：调试你的spark for yarn模式。使用spark 读取 任何一个位置（本地文件系统或者 HDFS文件系统）的文本txt文件，并进行词频统计。 总共40分，分步得分。 成果1：成功输出 hadoop和spark 运行节点，jps之后，尤其注意必须有 namenode\datanode\master\worker\nodemanager ， 截图。 （5分）

好的，在Spark on YARN模式下，通过读取HDFS或本地文件系统的文本文件并进行词频统计是一项常见的操作。以下是详细的步骤说明及评分标准：

### 环境准备

**1. 启动Hadoop集群**
- **启动NameNode和DataNodes**：确保Hadoop已经正常运行并且可以在YARN上提交任务。

     $ start-dfs.sh # 启动 NameNode 和 DataNode

检查是否成功启动了`namenode`和`datanode`

使用命令 `jps` 查看进程：

此时应能看到如下的进程名称（截图保存）：

Namenode
Datanode

*(5分)* 如果此时已经有这两个节点则得满分；如果有缺少的部分可以扣分。

---

**2. 配置 Spark**

修改`conf/spark-env.sh`, 添加以下配置项指向hadoop安装路径

   export HADOOP_CONF_DIR=/etc/hadoop/conf/

让Spark能够识别到已有的yarn环境.

---

**3. 提交任务至YARN**

编写简单的Scala代码用于加载数据集以及处理流程:

import org.apache.spark.{SparkConf, SparkContext}
object WordCount {
  def main(args: Array[String]): Unit = {

    // 创建Spark配置信息，并指定采用yarn-client作为Master地址.
    val conf = new SparkConf().setAppName("wordcount").setMaster("yarn-client")

    // 根据配置创建上下文实例化对象.
    val sc = new SparkContext(conf)

    // 加载文件内容进入RDD (此处以从分布式存储系统为例).
    val lines = if(args.length > 0) sc.textFile(args(0)) else null 

    require(lines !=null,"请输入有效的输入路径")
      
    // 对每一行进行分割成单词、去空格等预处理工作后压平转换为一个个元素组成的序列。
    val words = lines.flatMap(_.split("\\s+")).map(word => word.trim.toLowerCase())

    // 统计各个词语出现次数
    val counts = words.map((_, 1)).reduceByKey(_ + _)
    
    println(counts.collect().mkString("\n"))
       
    // 关闭资源释放内存空间
    sc.stop()
 }

编译打包上述程序生成JAR包形式，然后上传至服务器端目录中方便后续执行调用; 假设jar名为:`spark_wordcount.jar`.

接下来需要将此job提交给YARN平台来进行调度安排计算:

$ spark-submit \
--class "WordCount" \ 
--master yarn --deploy-mode client \ 
/path/to/spark_wordcount.jar hdfs://nn_addr:port/user/data/input.txt

这里需要注意几个地方:
- `nn_addr`: 替换为你实际使用的namenode主机名或者IP地址；
- `/path/to/spark_wordcount.jar` : 更改为上面提到的绝对路径;
- 最后的参数代表待分析的目标源位置(HDFS URI),可以根据自身情况进行修改调整;

等待一段时间让任务完成即可看到结果输出...

最后再次检查当前机器是否存在如下必要服务组件(`nodemanager`,`ResourceManager`)，同时还有没有遗漏其他重要的组成部分比如`scheduler`之类的辅助工具.(这一步骤也值得额外加分奖励哦～)