该怎么查找对hadoop进行调优对比的任务数据

要比较Hadoop调优前后的性能差异，需要收集一些关于任务数据的统计信息。以下是一些可能有用的指标：

1. 数据大小：任务处理的数据量，包括输入数据大小和输出数据大小。

2. 块大小：HDFS块的大小，这对于调整map和reduce任务的并行度非常重要。

3. 任务数量：执行的map和reduce任务数量。

4. JVM内存：每个map和reduce任务使用的JVM堆内存大小。

5. 压缩格式：输入数据是否压缩，以及使用的压缩格式。

6. 数据分布：数据是否均匀分布在HDFS集群中的节点上。

7. 网络带宽：HDFS和YARN节点之间的网络带宽。

可以通过Hadoop自带的工具和第三方监控工具来收集这些指标，例如：

1. Job History Server：Hadoop自带的工具，可以提供有关作业的详细信息，包括输入和输出数据大小、任务数等。

2. Ganglia和Graphite：第三方监控工具，可以提供有关集群的详细信息，包括网络带宽、内存使用等。

3. JMX监控：Hadoop的各个组件都支持JMX监控，可以收集有关JVM内存使用和其他性能指标的信息。

通过收集这些指标，可以比较调优前后的性能差异，并确定哪些调整对性能有最大影响。