spark 读取 es数据，怎样获得文档id

你可以使用 Spark 的 Elasticsearch 数据源库来读取 Elasticsearch 中的数据，并获得文档的 ID。下面是一个示例代码：

首先，确保你已经在你的 Spark 项目中引入了相关的依赖，包括 Elasticsearch 的连接器和 Spark 的 Elasticsearch 数据源库。

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("Read from Elasticsearch")
  .master("local[*]")
  .config("spark.executor.memory", "1g")
  .config("spark.driver.memory", "1g")
  .config("spark.es.nodes", "localhost") // 设置 Elasticsearch 节点的地址
  .config("spark.es.port", "9200") // 设置 Elasticsearch 节点的端口号
  .getOrCreate()

val df = spark.read
  .format("org.elasticsearch.spark.sql")
  .option("es.resource", "your_index/your_type") // 设置要读取的索引和类型
  .option("es.query", "?q=*") // 设置 Elasticsearch 查询语句，这里使用通配符查询所有文档
  .load()

df.show()

// 获取文档ID
val docIds = df.select("_id").rdd.map(row => row.getString(0)).collect()

docIds.foreach(println)

在上面的示例代码中，你需要将 `localhost` 和 `9200` 替换为你实际的 Elasticsearch 节点地址和端口号。另外，你还需要将 `your_index/your_type` 替换为你要读取的索引和类型。

通过 `df.select("_id")` 来选择 `_id` 字段，然后通过 `rdd.map(row => row.getString(0))` 将每行数据转换为字符串类型，最后通过 `collect()` 方法将数据收集到一个数组中。

希望这个示例能帮助到你！如有更多问题，请随时提问。