hadoop与spark并行度设置问题（mr、spark任务提交参数的设置、spark-submit参数调优）

Hadoop和Spark都是分布式计算框架，可以通过设置并行度来提高计算效率。在Hadoop中，可以通过设置mapred.map.tasks和mapred.reduce.tasks来控制Map和Reduce任务的数量，从而控制并行度。在Spark中，可以通过设置spark.default.parallelism和spark.executor.instances来控制并行度。

在提交MR和Spark任务时，可以设置一些参数来优化任务的性能。例如，在MR中，可以设置mapreduce.map.memory.mb和mapreduce.reduce.memory.mb来控制Map和Reduce任务的内存使用量。在Spark中，可以设置spark.driver.memory和spark.executor.memory来控制Driver和Executor的内存使用量。

另外，在使用spark-submit提交Spark任务时，还可以通过设置一些参数来调优任务的性能。例如，可以设置--num-executors来控制Executor的数量，设置--executor-memory来控制每个Executor的内存使用量，设置--executor-cores来控制每个Executor的CPU核数等。

总之，通过合理设置并行度和调优参数，可以提高Hadoop和Spark任务的计算效率和性能。