spark读取本地文件和hdfs文件

### 回答1：
Spark可以通过以下两种方式读取本地文件和HDFS文件：

1. 读取本地文件

可以使用SparkContext的textFile()方法读取本地文件，例如：

val sc = new SparkContext("local", "read local file")
val rdd = sc.textFile("file:///path/to/local/file")

其中，"file://"表示读取本地文件，"/path/to/local/file"是本地文件的路径。

2. 读取HDFS文件

可以使用SparkContext的textFile()方法读取HDFS文件，例如：

val sc = new SparkContext("local", "read hdfs file")
val rdd = sc.textFile("hdfs://namenode:port/path/to/hdfs/file")

其中，"hdfs://"表示读取HDFS文件，"namenode"是HDFS的名称节点，"port"是HDFS的端口号，"/path/to/hdfs/file"是HDFS文件的路径。

### 回答2：
Spark是一个开源的分布式计算引擎，可以快速处理大量数据。Spark可以读取本地文件和HDFS文件，下面分别介绍一下。

1、读取本地文件

Spark可以通过本地文件系统读取文件，可以使用以下代码：

val inputFile = "file:///path/to/file"
val data = sc.textFile(inputFile)

其中，inputFile是要读取的文件的路径，可以是绝对路径或相对路径。file://表示文件协议，可以在路径前加上file://来指定文件协议。sc是SparkContext对象，用于与Spark集群进行通信。

2、读取HDFS文件

Spark也可以通过Hadoop分布式文件系统（HDFS）读取文件，可以使用以下代码：

val inputFile = "hdfs://namenode:port/path/to/file"
val data = sc.textFile(inputFile)

其中，inputFile是要读取的文件的路径，namenode是HDFS的名称节点，port是HDFS的端口号，可以在路径前加上hdfs://来指定HDFS协议。

需要确保Spark集群和HDFS集群之间的网络连接是可用的。如果Hadoop配置过程中设置了HADOOP_CONF_DIR环境变量，则Spark会自动加载Hadoop配置文件，否则需要在SparkConf对象中指定Hadoop配置文件的路径。

以上是关于Spark读取本地文件和HDFS文件的介绍，Spark可以快速处理大规模数据，有很好的分布式计算能力。如果想进一步学习Spark，可以深入研究RDD、DataFrame、Spark SQL等模块，掌握Spark的高级功能。

### 回答3：
Spark是一个广泛使用的分布式计算引擎，支持从本地磁盘读取文件和从分布式文件系统HDFS读取文件。本文将详细介绍Spark如何读取本地文件和HDFS文件。

1. 读取本地文件

在Spark中，可以使用以下语句读取本地文件：

val textFile = spark.read.textFile("file:///path/to/your/local/file")

其中，"file://"是协议头，表示文件协议，"path/to/your/local/file"是本地文件的路径。在实际应用中，可以使用绝对路径或相对路径。

2. 读取HDFS文件

读取HDFS文件需要先在Spark环境中配置Hadoop的相关参数。在Spark程序中配置Hadoop参数可以通过以下两种方式：

(1) 通过SparkConf配置

val conf = new SparkConf().setAppName("ReadHdfsFile")
conf.set("fs.defaultFS", "hdfs://namenode:9000")
val sc = new SparkContext(conf)
val textFile = sc.textFile("hdfs://namenode:9000/path/to/your/hdfs/file")

其中，fs.defaultFS是Hadoop文件系统的默认URI，用于在Hadoop集群中访问HDFS文件。本例中，将fs.defaultFS设置为"hdfs://namenode:9000"，其中namenode代表的是HDFS的名称节点的主机名，9000是HDFS的默认端口。

(2)在spark-defaults.conf或yarn-site.xml文件中添加参数

在spark-defaults.conf中添加：

spark.hadoop.fs.defaultFS hdfs://namenode:9000

在yarn-site.xml中添加：

<property>
   <name>yarn.resourcemanager.hostname</name>
   <value>node1</value>
</property>

通过以上配置，我们就可以通过以下代码在Spark中读取HDFS文件：

val textFile = spark.read.textFile("hdfs://namenode:9000/path/to/your/hdfs/file")

以上就是Spark读取本地文件和HDFS文件的方法。无论是读取本地文件还是读取HDFS文件，Spark都提供了简便、高效的接口，使开发人员能够轻松地处理大量数据，进行分布式计算。