Hadoop的distcp命令携带参数详解

`distcp`是Hadoop分布式复制工具，用于在集群中高效地在源和目标目录之间复制大量数据。以下是`distcp`命令的一些关键参数：

1. **-src**: 源目录或文件路径，这是要复制的数据源。例如: `src=hdfs://namenode/path`

2. **-dest**: 目标目录路径，复制完成后数据将放置在这里。例如: `dest=hdfs://namenode/destination/path`

3. **-overwrite**: 如果设置为`true`，则会覆盖目标目录已存在的相同文件。默认为`false`，即默认不覆盖。

4. **-conf**: 配置文件路径，用于指定Hadoop配置。例如: `-conf=/path/to/hadoop-site.xml`

5. **-skipcrccheck**: 忽略校验和检查，加快复制速度。但不建议在生产环境中使用，除非确定数据完整性可以后续验证。

6. **-async**: 异步模式，可以在后台并行执行复制任务。如果设置，`distcp`会返回一个作业ID，你可以使用`hadoop distcp check`或`hadoop distcp status`来跟踪进度。

7. **-delete**: 删除目标路径中源路径不存在的文件，与`overwrite`类似，但仅删除空目录。

8. **-fs**: 指定要使用的文件系统类型（如HDFS）。如果未提供，默认使用Hadoop的默认文件系统。

9. **-D**: 提供Hadoop配置项，如同在命令行中设置环境变量一样。

示例命令:

hadoop distcp -src hdfs://source/path -dest hdfs://destination/path -overwrite

执行前，请确保你的Hadoop环境已经配置好，并且对目标目录有足够的权限。