spark sql原理及使用 基本使用mysql hive rdd转为dataframe

Spark SQL是Spark中的一个模块，它提供了一种基于结构化数据的编程接口。Spark SQL支持多种数据源，包括Hive、JSON、Parquet等。Spark SQL的核心是DataFrame，它是一个分布式的数据集合，可以看作是一个表格，每一行都有相同的结构，可以进行类似于SQL的操作。

Spark SQL的基本使用包括创建DataFrame、注册表、执行SQL查询等。可以使用Spark SQL的API将MySQL、Hive等数据源中的数据转换为DataFrame，也可以使用Spark SQL的API将RDD转换为DataFrame。

具体使用方法如下：

1. 使用MySQL数据源创建DataFrame

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("mysql").getOrCreate()

url = "jdbc:mysql://localhost:3306/test"
table = "person"
user = "root"
password = "123456"

df = spark.read.format("jdbc").option("url", url).option("dbtable", table).option("user", user).option("password", password).load()

df.show()

2. 使用Hive数据源创建DataFrame

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("hive").enableHiveSupport().getOrCreate()

table = "person"

df = spark.sql("select * from {}".format(table))

df.show()

3. 将RDD转换为DataFrame

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, StringType, IntegerType

spark = SparkSession.builder.appName("rdd").getOrCreate()

rdd = spark.sparkContext.parallelize([(1, "Alice"), (2, "Bob"), (3, "Charlie")])

schema = StructType([StructField("id", IntegerType(), True), StructField("name", StringType(), True)])

df = spark.createDataFrame(rdd, schema)

df.show()

以上就是Spark SQL的基本使用方法，可以根据具体需求进行相应的操作。