spark SQL读取生成dataframe的方法

Spark SQL是Apache Spark的一个模块，它提供了一种基于SQL查询的方式处理结构化数据。在Spark SQL中，可以使用DataFrame API来读取和操作数据。以下是创建DataFrame的一些常见方法：

1. **从Hadoop文件系统（HDFS）读取**:

   val df = spark.read.format("csv") // 或者"parquet", "json", "jdbc"
     .option("header", "true") // 如果文件有列名
     .option("inferSchema", "true") // 自动推断数据类型
     .load("hdfs://path/to/your/data")

2. **从本地文件系统读取**:

   val df = spark.read.text("/local/path/to/your/data.txt")

3. **从JDBC连接数据库**:

   val url = "jdbc:mysql://localhost:3306/mydatabase"
   val df = spark.read.format("jdbc")
     .option("url", url)
     .option("dbtable", "my_table")
     .option("user", "username")
     .option("password", "password")
     .load()

4. **直接从DataFrame源数据转换**:

   val df = Seq(("John", 30), ("Jane", 25)).toDF("name", "age")