linux 上传到Hadoop

在Linux上上传文件到Hadoop分布式文件系统（HDFS）通常包括以下步骤，假设你已经在本地计算机上安装了Hadoop并配置了SSH访问权限：

1. **确认HDFS可用**：首先，确保Hadoop的服务正在运行，尤其是HDFS的NameNode和DataNodes。你可以使用`jps`命令检查它们的状态。

2. **登录到NameNode**：如果你的Hadoop集群支持SSH免密登录，可以直接使用`hdfs dfs`命令行工具，如果没有的话，则需要提供用户名和密码：

   hdfs dfs -put [本地文件路径] [HDFS目标路径]

比如你想把本地的`file.txt`上传到`/user/username/directory`，命令就会是：

   hdfs dfs -put file.txt /user/username/directory/file.txt

3. **使用SCP或FTP客户端**：另一种常见的做法是使用SCP（Secure Copy Protocol）或其他FTP客户端软件，如WinSCP（适用于Windows）将文件直接从本地复制到HDFS。例如，通过SCP命令：

   scp file.txt username@namenode_ip:/user/username/directory/

4. **上传大文件分块**：对于较大的文件，HDFS会自动处理分块上传，但也可以手动指定 `-D fs.file.size.limit=<限制值>` 来调整每个数据块的大小。

记住，上传完成后，HDFS的数据是持久化的，除非有特别的操作（如删除或重命名），否则文件会在Hadoop集群中长期保留。