帮忙写一个从hdfs上get下来的put上去,并校验get下来的文件和本地文件数量大小 ,再校验put上去和本地文件的数量和大小相等的脚本
时间: 2024-06-01 12:10:18 浏览: 22
#!/bin/bash
# 定义变量
HDFS_DIR="/hdfs/path"
LOCAL_DIR="/local/path"
FILENAME="test.txt"
# 从HDFS上下载文件
hdfs dfs -get "${HDFS_DIR}/${FILENAME}" "${LOCAL_DIR}/${FILENAME}"
# 校验本地文件和从HDFS上下载的文件数量和大小是否相等
if [[ $(ls -A ${LOCAL_DIR} | wc -l) -eq $(hdfs dfs -count "${HDFS_DIR}/${FILENAME}" | awk '{print $2}') && $(wc -c "${LOCAL_DIR}/${FILENAME}" | awk '{print $1}') -eq $(hdfs dfs -count "${HDFS_DIR}/${FILENAME}" | awk '{print $3}') ]]; then
echo "从HDFS上下载的文件与本地文件数量和大小相等"
else
echo "从HDFS上下载的文件与本地文件数量和大小不相等"
fi
# 将文件上传到HDFS上
hdfs dfs -put "${LOCAL_DIR}/${FILENAME}" "${HDFS_DIR}/${FILENAME}"
# 校验本地文件和上传到HDFS上的文件数量和大小是否相等
if [[ $(ls -A ${LOCAL_DIR} | wc -l) -eq $(hdfs dfs -count "${HDFS_DIR}/${FILENAME}" | awk '{print $2}') && $(wc -c "${LOCAL_DIR}/${FILENAME}" | awk '{print $1}') -eq $(hdfs dfs -count "${HDFS_DIR}/${FILENAME}" | awk '{print $3}') ]]; then
echo "上传到HDFS上的文件与本地文件数量和大小相等"
else
echo "上传到HDFS上的文件与本地文件数量和大小不相等"
fi
# 删除本地文件和HDFS上的文件
rm -f "${LOCAL_DIR}/${FILENAME}"
hdfs dfs -rm "${HDFS_DIR}/${FILENAME}"
相关推荐
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)