hadoop fs -put使用示例

hadoop fs -put是Hadoop分布式文件系统中用于将本地文件复制到HDFS的命令。以下是hadoop fs -put的使用示例：

示例1：将本地文件复制到HDFS中的目标路径
hadoop fs -put localfile hdfs://nn.example.com/user/hadoop/destination

示例2：将本地文件复制到HDFS的当前用户目录下
hadoop fs -put localfile /user/currentuser/destination

示例3：将本地文件复制到HDFS的相对路径下
hadoop fs -put localfile destination

示例4：将本地文件复制到HDFS的绝对路径下
hadoop fs -put localfile /destination

示例5：将本地文件夹复制到HDFS中的目标路径
hadoop fs -put localfolder hdfs://nn.example.com/user/hadoop/destination

示例6：将本地文件夹复制到HDFS的当前用户目录下
hadoop fs -put localfolder /user/currentuser/destination

示例7：将本地文件夹复制到HDFS的相对路径下
hadoop fs -put localfolder destination

示例8：将本地文件夹复制到HDFS的绝对路径下
hadoop fs -put localfolder /destination

相关问题

hadoop fs -put 增量上传代码

在Java中使用Hadoop API进行增量上传的示例代码如下：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.File;
import java.io.IOException;

public class HadoopIncrementalUpload {

    public static void main(String[] args) throws IOException {
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(conf);

        // 本地文件或目录的路径
        String localPath = "/path/to/local/file";

        // HDFS中的目标路径
        String hdfsPath = "/path/to/hdfs/directory";

        // 将本地文件或目录上传到HDFS中，增量上传
        File localFile = new File(localPath);
        Path hdfsDir = new Path(hdfsPath);
        if (localFile.isFile()) {
            // 上传单个文件
            Path hdfsFile = new Path(hdfsDir, localFile.getName());
            fs.copyFromLocalFile(false, true, new Path(localPath), hdfsFile);
        } else {
            // 上传整个目录
            fs.copyFromLocalFile(false, true, new Path(localPath), hdfsDir);
        }

        // 关闭FileSystem
        fs.close();
    }
}

这段代码可以将本地文件或目录上传到HDFS中，并且只会上传新增或修改的文件。其中，`fs.copyFromLocalFile(false, true, src, dst)`方法的第二个参数为`true`表示进行增量上传。如果第二个参数为`false`，则表示覆盖上传。

hadoop fs -put 增量上传shell脚本

以下是使用Shell脚本实现Hadoop增量上传的示例代码：

#!/bin/bash

# 本地文件或目录的路径
LOCAL_PATH="/path/to/local/file"

# HDFS中的目标路径
HDFS_PATH="/path/to/hdfs/directory"

# 获取Hadoop命令路径
HADOOP_CMD=$(which hadoop)

# 判断本地路径是文件还是目录
if [ -f $LOCAL_PATH ]; then
  # 上传单个文件
  $HADOOP_CMD fs -put -f $LOCAL_PATH $HDFS_PATH/$(basename $LOCAL_PATH)
else
  # 上传整个目录
  $HADOOP_CMD fs -put -f $LOCAL_PATH/* $HDFS_PATH/
fi

这段代码可以将本地文件或目录上传到HDFS中，并且只会上传新增或修改的文件。其中，`-f`参数表示强制上传，即覆盖已有文件。如果不加`-f`参数，则不会覆盖已有文件。