sparkcore和sparksql区别，详细举例说明

SparkCore和SparkSQL是Apache Spark生态系统中的两个关键组件，它们的主要区别在于功能和用途。

**SparkCore (Scala shell or PySpark)**：
Spark Core是Spark的基础库，它提供了一个分布式计算框架，可以处理各种类型的数据源（如Hadoop文件系统、Cassandra等），并支持实时流处理。通过Scala Shell或Python API (PySpark)，开发者可以直接编写和运行Spark应用程序。例如，你可以使用Spark Core对文本数据进行清洗、转换或模式识别，而无需关心数据存储的具体细节：

val sc = SparkContext("local", "myApp")
val data = sc.textFile("hdfs://path/to/data.txt")
val words = data.flatMap(line => line.split(" "))

在这个例子中，`SparkContext` 是核心操作入口，`textFile`用于读取HDFS中的文件，`flatMap`用于数据预处理操作。

**SparkSQL**：
SparkSQL是基于Spark的SQL方言，它允许用户直接与结构化数据交互，包括关系型数据库、JSON、CSV等。SparkSQL将DataFrame和DataSet这两种高级API引入，使得数据处理更为直观和易懂。例如：

import org.apache.spark.sql.SparkSession
val spark = SparkSession.builder.appName("SparkSQLExample").getOrCreate()
val df = spark.read.format("jdbc") // 使用JDBC读取数据库
  .option("url", "jdbc:mysql://localhost/mydatabase")
  .option("dbtable", "my_table")
  .option("user", "username")
  .option("password", "password")
  .load()
df.show() // 显示查询结果

在这个示例中，我们创建了SparkSession，然后使用`read.format()`读取数据库，并能直接执行SQL查询和操作。