spark读取hdfs文件后计算行数并将结果保存

Spark读取HDFS文件并计算行数通常涉及以下几个步骤：

1. **创建SparkSession**: 首先，你需要导入`pyspark.sql`模块并创建一个`SparkSession`实例，这是Spark用于交互的数据处理环境。

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName('row_count').getOrCreate()

2. **读取HDFS文件**: 使用`SparkSession.read`方法从HDFS加载数据集。假设文件是一个CSV或JSON格式，你可以这样做：

df = spark.read.format('csv' or 'json') \
       .option('header', 'true' if your_file_has_headers else 'false') \
       .option('inferSchema', 'true') \
       .load('hdfs://path/to/your/file')

3. **计行数**: 然后，你可以使用`count()`函数来计算数据集的行数：

total_rows = df.count()

4. **保存结果**: 最后，将计算出的行数保存到目标位置，例如HDFS或数据库。如果你想要直接保存为文本文件，可以这么做：

output_path = 'hdfs://new/path/to/output'
with open(output_path, 'w') as f:
    f.write(str(total_rows))

# 或者使用Spark自身的saveAsTextFile方法
df.count().write.text(output_path)

5. **关闭SparkSession**: 计算完成后别忘了关闭SparkSession以释放资源：

spark.stop()