pyspark中python代码读取文件行数

在PySpark中，如果你想要读取一个文件的行数，通常会使用`pyspark.sql.functions.count()`函数配合`SparkSession.read.text()`或`SparkSession.read.csv()`等方法来完成。这里是一个简单的例子：

from pyspark.sql import SparkSession

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 读取文本文件
text_df = spark.read.text("path_to_your_file.txt")

# 计算文件的行数
row_count = text_df.selectExpr("length(content) as row_count").agg({"row_count": "count"}).first()[0]

print(f"文件中有 {row_count} 行")

对于CSV文件，可以稍微调整一下：

csv_df = spark.read.option("header", "true") \
            .option("inferSchema", "true") \
            .csv("path_to_your_file.csv")

row_count = csv_df.count()
print(f"文件中有 {row_count} 行")