es.index.auto.create
时间: 2024-05-22 17:09:59 浏览: 9
这是Elasticsearch的一个设置,用于指定当在索引中没有找到文档时,是否自动创建一个新的索引。如果设置为true,则会在缺少索引时自动创建一个新的索引,如果设置为false,则会引发IndexNotFoundException异常。建议在生产环境中将其设置为false以确保索引不会在意外情况下被创建。
相关问题
org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Cannot find mapping for tfec_tbl_users - one is required before using Spark SQL
这个错误通常是由于在使用Spark SQL进行查询时,没有正确指定Elasticsearch索引的映射关系导致的。在使用Spark SQL查询Elasticsearch数据时,必须先定义一个表或视图并指定其映射关系,否则会出现该错误。
你可以检查一下你的代码,确保已经正确指定了索引的映射关系,例如:
```
val spark = SparkSession.builder()
.config("es.nodes", "localhost")
.config("es.port", "9200")
.config("es.index.auto.create", "true")
.appName("ElasticSearch-SparkSQL")
.master("local[*]")
.getOrCreate()
val df = spark.read
.format("org.elasticsearch.spark.sql")
.option("es.resource", "index/type")
.load()
df.createOrReplaceTempView("my_table") // 定义表并指定映射关系
// 在表上执行SQL查询
val result = spark.sql("SELECT * FROM my_table WHERE ...")
```
这里的`es.resource`参数指定了Elasticsearch索引和类型的名称,而`createOrReplaceTempView`方法则定义了一个临时表并指定了该表对应的映射关系。在这个基础上,你就可以使用Spark SQL查询Elasticsearch数据了。
PUT _cluster/settings { "persistent": { "action.auto_create_index": "true" } }
这不是一个问题,而是一个 Elasticsearch 的 API 请求,用于设置集群级别的自动创建索引设置。这个请求会将 `action.auto_create_index` 设置为 `true`,意味着当一个未存在的索引被访问时,它将会被自动创建。这个设置可以被持久化保存,意味着即使 Elasticsearch 集群重启,这个设置也会被保留下来。你可以在 Elasticsearch 官方文档中找到更多关于这个 API 请求的信息。
相关推荐
![pptx](https://img-home.csdnimg.cn/images/20210720083543.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![war](https://img-home.csdnimg.cn/images/20210720083646.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)