spark统计csv行数

可以使用Spark的API来统计CSV文件的行数。以下是一个示例代码：

import org.apache.spark.sql.SparkSession

object CSVRowCount {
  def main(args: Array[String]) {
    val spark = SparkSession.builder.appName("CSVRowCount").getOrCreate()

    // 读取CSV文件并计算行数
    val csvFile = spark.read.format("csv").load("path/to/csv/file")
    val rowCount = csvFile.count()

    println(s"行数为: $rowCount")

    spark.stop()
  }
}

在代码中，我们首先创建了一个SparkSession实例，然后使用`spark.read.format("csv").load("path/to/csv/file")`方法来读取CSV文件。最后，使用`csvFile.count()`方法来计算行数。