（转）spark-调度策略之fair

fair调度策略是Spark中一种常用的任务调度策略，它能够保证每个任务都能够得到公平的资源分配。fair调度器会根据每个任务的资源需求和当前集群的资源使用情况来动态地分配资源，从而避免了某些任务长时间得不到资源的情况。此外，fair调度器还支持多个应用程序同时运行，能够保证每个应用程序都能够得到公平的资源分配。

相关问题

spark 关于spark-submit 参数调优策略

Spark-submit 参数调优策略包括以下几个方面：

1. Driver和Executor的内存设置：根据数据量和计算复杂度设置合适的内存大小，避免OOM和GC过度。

2. Executor的数量和核数设置：根据集群的硬件资源和任务的并行度设置合适的Executor数量和核数，提高计算效率。

3. 序列化方式设置：选择合适的序列化方式，可以提高计算效率和减少内存占用。

4. Shuffle调优：通过调整shuffle的参数，如mapreduce.shuffle.memory.limit、spark.shuffle.compress等，可以减少shuffle的IO和内存占用，提高计算效率。

5. 缓存设置：通过缓存RDD或DataFrame，可以减少重复计算和IO，提高计算效率。

6. 并行度设置：根据数据量和计算复杂度设置合适的并行度，避免任务过度并行或串行，提高计算效率。

7. 资源管理设置：根据集群的资源管理方式，如YARN、Mesos或Standalone，设置合适的资源管理参数，提高计算效率和资源利用率。

以上是Spark-submit参数调优的一些策略，需要根据具体情况进行调整和优化。

spark-thrift和spark-sql的区别

Spark-Thrift和Spark-SQL是Spark框架中的两个组件，它们有以下区别：
1. Spark-SQL是Spark的一个模块，用于处理结构化数据，支持SQL查询和DataFrame API。它提供了一种高效且易于使用的方法来处理和分析结构化数据。用户可以使用SQL语句或DataFrame API来查询和操作数据。Spark-SQL允许用户直接在Spark应用程序中使用SQL查询，而无需编写复杂的MapReduce代码。
2. Spark-Thrift是Spark的一个独立服务，它提供了一个标准的Thrift接口，用于执行SQL查询。它可以作为一个独立的进程运行，并通过网络接收来自客户端的SQL查询请求，并将查询转发到Spark集群中的Spark-SQL模块进行处理。Spark-Thrift使得可以使用不同的编程语言，如Java、Python、R等，通过Thrift接口与Spark集群交互。

因此，Spark-SQL是Spark框架中用于处理结构化数据的模块，而Spark-Thrift是提供Thrift接口让用户可以使用不同编程语言与Spark-SQL模块交互的独立服务。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *3* [CDH15.0支持spark-sql和spark-thrift-server](https://blog.csdn.net/u012458821/article/details/87635599)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
- *2* [122.Thrift和spark-sql客户端部署](https://blog.csdn.net/m0_47454596/article/details/126856172)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]