使用PySpark加载数据集

在使用PySpark处理大数据集时，首先需要导入相关的库，如`pyspark.sql`。PySpark允许你通过多种方式加载数据，包括本地文件、HDFS、SQL数据库等。以下是常见的几种加载数据的方式：

1. **从CSV文件加载**:

   from pyspark.sql import SparkSession

   spark = SparkSession.builder.getOrCreate()
   df = spark.read.format("csv") \
         .option("header", "true") \  # 如果第一行包含列名
         .option("inferSchema", "true") \  # 自动推断列的数据类型
         .load("/path/to/your/csv/file.csv")

2. **从JSON文件加载**:

   df = spark.read.format("json").load("/path/to/your/json/file.json")

3. **从HDFS（Hadoop分布式文件系统）加载**:

   df = spark.read.format("text").load("hdfs://localhost/path/to/data")

4. **从关系型数据库（例如MySQL或PostgreSQL）加载**:

   df = spark.read.format("jdbc") \
       .option("url", "<your_database_url>") \
       .option("dbtable", "<your_table_name>") \
       .option("user", "<username>") \
       .option("password", "<password>") \
       .load()

5. **从Parquet或ORC文件加载** (高效的二进制文件格式)：

   df = spark.read.format("parquet").load("/path/to/your/parquet/orc/files")

每种加载方式都需要相应的参数调整以匹配实际的数据源和格式。一旦数据加载完成，你可以对数据进行转换、分析等操作。