spark dataAddress读excel数据全部场景用法

在Spark中读取Excel数据，可以使用第三方库Apache POI，步骤如下：

1. 添加依赖

<dependency>
    <groupId>org.apache.poi</groupId>
    <artifactId>poi</artifactId>
    <version>4.1.2</version>
</dependency>
<dependency>
    <groupId>org.apache.poi</groupId>
    <artifactId>poi-ooxml</artifactId>
    <version>4.1.2</version>
</dependency>

2. 读取Excel文件

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.types.{StringType, StructField, StructType}

val spark = SparkSession.builder()
  .appName("ReadExcelData")
  .master("local[*]")
  .getOrCreate()

// 定义Excel文件路径和表名
val filePath = "/path/to/excel/file.xlsx"
val sheetName = "Sheet1"

// 读取Excel文件
val workbook = WorkbookFactory.create(new File(filePath))
val sheet = workbook.getSheet(sheetName)

// 将Excel数据转为List[List[String]]
val rows = sheet.iterator().asScala.toList.map { row =>
  row.iterator().asScala.toList.map { cell =>
    cell.getStringCellValue
  }
}

// 定义Schema
val schema = StructType(
  sheet.getRow(0).iterator().asScala.toList.map { cell =>
    StructField(cell.getStringCellValue, StringType, nullable = true)
  }
)

// 将List[List[String]]转为DataFrame
val data = rows.tail.map { row =>
  Row.fromSeq(row)
}
val df = spark.createDataFrame(spark.sparkContext.parallelize(data), schema)

df.show()

这里的代码是读取Excel文件中一个名为“Sheet1”的工作表的数据，将它们转为DataFrame并显示出来。若想读取多个工作表的数据，只需要在步骤2中重复读取并转换即可。