简答题(共2题，20.0分) 32.(10.0分)假设用户hadoop在当前的Linux操 作系统中已成功安装Spark和Hadoop , 完成了 Hadoop的伪分布式模式配置以及Spark在 Local部 署模式下的配置。HDFS已在伪分布式模式下启 动;并且当前已成功进入Spark Shell交互式环 境。另假设HDFS的/user/hadoop/input, /目录事 先已存在且该目录下存有3个英文内容的文本文 件。 下面请根据编程要求写出相应的多条Scala代码语 句。 通过加载HDFS的/user/hadoop/input/目录下的 文件内容，形成一个文本RDD。然后，针对该文 本RDD,分别统计出包含英文缩略语“IT”和 “WWW”的行数，并将统计结果显示出来。

// 加载HDFS的/user/hadoop/input/目录下的文件内容，形成一个文本RDD
val textRDD = sc.textFile("hdfs://localhost:9000/user/hadoop/input/")

// 统计包含英文缩略语“IT”的行数
val itCount = textRDD.filter(line => line.contains("IT")).count()

// 统计包含英文缩略语“WWW”的行数
val wwwCount = textRDD.filter(line => line.contains("WWW")).count()

// 将统计结果显示出来
println("包含IT的行数：" + itCount)
println("包含WWW的行数：" + wwwCount)

相关问题

1.(简答题，10.0分)spark运行模式有哪些，并简要说明每种运行模式?

Spark运行模式主要有以下4种：

1. Local Mode：在本地单机运行，适用于开发和测试。

2. Standalone Mode：以独立模式运行，适用于集群内部部署。

3. Mesos Mode：以Mesos集群管理系统运行，适用于Mesos集群环境。

4. YARN Mode：以Hadoop YARN集群管理系统运行，适用于Hadoop集群环境。

在Local Mode下，Spark将在本地计算机上以单线程模式运行，适用于开发和测试。在Standalone Mode下，Spark自带的资源管理器将作为一个独立的进程运行在集群中，并管理集群的资源。在Mesos Mode下，Spark将与Mesos框架集成，Mesos将负责管理集群的资源并向Spark分配资源。在YARN Mode下，Spark将与Hadoop集成，并使用YARN作为资源管理器，YARN将负责管理集群的资源并向Spark分配资源。

怎么在linux中安装hadoop

在Linux中安装Hadoop可以按照以下步骤进行：

1. 下载Hadoop安装包，并解压到指定目录。

2. 配置Hadoop环境变量，包括JAVA_HOME、HADOOP_HOME等。

3. 配置Hadoop的核心配置文件，包括hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml等。

4. 格式化Hadoop文件系统，使用命令hadoop namenode -format。

5. 启动Hadoop服务，使用命令start-all.sh。

6. 验证Hadoop是否安装成功，可以使用命令jps查看Hadoop进程是否启动。

以上是大致的安装步骤，具体细节可以参考Hadoop官方文档或者相关教程。