spark调优修改的参数

Spark调优的关键是根据应用的特点和部署环境进行参数调整。以下是一些常见的Spark参数调优项：

1. Executor内存大小：通过调整spark.executor.memory参数可以设置Executor的内存大小。根据应用的特点和数据规模，可以适当调整Executor的内存大小，以提高作业的性能。

2. Executor数量：通过调整spark.executor.instances参数可以设置Executor的数量。根据集群的规模和资源情况，可以适当调整Executor的数量，以提高作业的并行度和性能。

3. Shuffle分区数量：通过调整spark.sql.shuffle.partitions参数可以设置Shuffle操作的分区数量。根据数据规模和集群规模，可以适当调整Shuffle分区数量，以提高Shuffle操作的性能。

4. 序列化方式：通过调整spark.serializer参数可以设置Spark的序列化方式。根据应用的特点和数据类型，可以选择不同的序列化方式，以提高作业的性能。

5. 数据压缩方式：通过调整spark.sql.inMemoryColumnarStorage.compressed参数可以设置内存列式存储的数据压缩方式。对于一些数据类型和存储场景，可以选择不同的数据压缩方式，以提高内存利用率和性能。

6. 垃圾回收方式：通过调整spark.executor.extraJavaOptions参数可以设置Executor的垃圾回收方式。根据应用的特点和数据规模，可以选择不同的垃圾回收方式，以提高作业的性能。

总之，Spark调优需要根据具体的应用场景和部署环境进行参数调整，以提高作业的性能和效率。