hdfs将本地的文件put 到 hdfs并转为parquet格式
时间: 2024-05-13 07:16:55 浏览: 217
可以按照以下步骤将本地文件上传到HDFS并转换为Parquet格式:
1. 将本地文件上传到HDFS:使用命令`hdfs dfs -put`将本地文件上传到HDFS中的一个目录,例如:
```
hdfs dfs -put /path/to/local/file /path/to/hdfs/directory
```
2. 安装Parquet工具:使用命令`sudo apt-get install parquet-tools`安装Parquet工具。
3. 将上传的文件转换为Parquet格式:使用命令`parquet-tools`将上传的文件转换为Parquet格式,例如:
```
hdfs dfs -text /path/to/hdfs/directory/input_file | parquet-tools write -o /path/to/hdfs/directory/output_file.parquet
```
其中,`/path/to/hdfs/directory/input_file`为上传的文件路径,`/path/to/hdfs/directory/output_file.parquet`为转换后的Parquet文件路径。
转换为Parquet格式后,可以使用Hive、Presto等工具进行查询和分析。
阅读全文