Cannot find mapping for 014/_search - one is required before using Spark SQL

这个错误一般出现在使用 Spark SQL 时，因为 Spark SQL 需要将数据映射到表中，而您的数据似乎没有正确的映射。这通常是因为您的数据源或 Spark SQL 配置出现问题。

首先，您可以尝试检查您的数据源是否正确。您可以尝试使用 Spark 的读取器（例如 DataFrameReader）来读取您的数据，并将其映射到表中。如果您的数据源中有多个文件，您可以使用通配符来读取它们，例如：

val df = spark.read.format("json").load("/path/to/files/*.json")

如果您的数据源没有问题，那么您可能需要检查您的 Spark SQL 配置。您可以尝试在创建 SparkSession 时指定配置，例如：

val spark = SparkSession.builder()
  .config("spark.sql.shuffle.partitions", "4")
  .getOrCreate()

如果您已经有一个 SparkSession，您可以使用 `spark.conf.set(key, value)` 来设置配置。另外，您可以尝试在运行时通过 Spark UI 检查任务和分区数等信息，以帮助确定问题的根本原因。

相关问题

spark 读es数据时报Cannot find mapping for 014/_search - one is required before using Spark SQL

这个错误通常是因为 Spark SQL 无法正确地推断 Elasticsearch 索引的模式，因此无法将它映射到 Spark SQL 表中。解决这个问题的方法是明确指定 Elasticsearch 索引的模式。

在使用 Spark 读取 Elasticsearch 数据时，您可以通过以下方式指定索引模式：

import org.apache.spark.sql.types._

val schema = StructType(Array(
  StructField("field1", StringType),
  StructField("field2", IntegerType),
  StructField("field3", DoubleType)
))

val df = spark.read.format("org.elasticsearch.spark.sql")
  .option("es.nodes", "localhost")
  .option("es.port", "9200")
  .option("es.index.read.missing.as.empty", "true")
  .option("es.nodes.wan.only", "true")
  .option("es.mapping.date.rich", "false")
  .option("es.read.field.as.array.include", "field4")
  .schema(schema)
  .load("index_name/type_name")

在上面的示例中，我们首先显式地定义了 Elasticsearch 索引中的字段模式。然后，我们在读取 Elasticsearch 数据时将这个模式传递给 Spark SQL，这样 Spark SQL 就能正确地将数据映射到表中。

请注意，这里的索引名和类型名应该是 Elasticsearch 中实际使用的名称，并且您需要替换正确的主机和端口。另外，这里的其他选项也可以根据需要进行调整。

org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Cannot find mapping for tfec_tbl_users - one is required before using Spark SQL

这个错误通常是由于在使用Spark SQL进行查询时，没有正确指定Elasticsearch索引的映射关系导致的。在使用Spark SQL查询Elasticsearch数据时，必须先定义一个表或视图并指定其映射关系，否则会出现该错误。

你可以检查一下你的代码，确保已经正确指定了索引的映射关系，例如：

val spark = SparkSession.builder()
    .config("es.nodes", "localhost")
    .config("es.port", "9200")
    .config("es.index.auto.create", "true")
    .appName("ElasticSearch-SparkSQL")
    .master("local[*]")
    .getOrCreate()

val df = spark.read
    .format("org.elasticsearch.spark.sql")
    .option("es.resource", "index/type")
    .load()

df.createOrReplaceTempView("my_table") // 定义表并指定映射关系

// 在表上执行SQL查询
val result = spark.sql("SELECT * FROM my_table WHERE ...")

这里的`es.resource`参数指定了Elasticsearch索引和类型的名称，而`createOrReplaceTempView`方法则定义了一个临时表并指定了该表对应的映射关系。在这个基础上，你就可以使用Spark SQL查询Elasticsearch数据了。