spark中数据分析代码

Apache Spark是一个强大的开源大数据处理框架，它支持流处理和批处理，特别适合于实时数据挖掘和复杂的数据分析任务。在Spark中进行数据分析的基本步骤通常包括读取数据、转换数据和执行计算。

1. **数据读取**：Spark支持多种数据源，如HDFS、本地文件系统、CSV、JSON、Parquet等。使用`spark.read` API，你可以像这样加载数据：

   val df = spark.read.format("csv")
     .option("header", "true") // 如果第一行包含列名
     .load("path_to_your_data")

2. **数据转换**：对数据进行清洗、转化和建模是数据分析的核心部分。例如，可以使用DataFrame API进行操作，比如选择列、过滤、分组、聚合等：

   val filteredDF = df.filter($"column_name" === "value")
   val groupedDF = df.groupBy("another_column").agg(avg("target_column"))

3. **执行计算**：通过调用`df.compute()`或`df.write`保存结果，运行分布式计算。Spark会自动优化计算计划并利用集群资源：

   val resultDF = groupedDF.sort($"avg_value".desc)
   resultDF.show()