帮我写一个shell脚本 ,beeline连接批量统计hive库名为fdp库下表名模糊匹配db_的表数据量,结果输出位csv文件
时间: 2024-03-12 09:45:51 浏览: 95
好的,以下是一个可以使用beeline连接批量统计hive库名为fdp库下表名模糊匹配db_的表数据量,并将结果输出为csv文件的shell脚本:
```shell
#!/bin/bash
# 设置beeline连接参数
HIVE_HOST=<hive_host>
HIVE_PORT=<hive_port>
HIVE_USER=<hive_user>
HIVE_PASSWORD=<hive_password>
# 设置hive库名和表名关键字
DATABASE=fdp
TABLE_PATTERN=db_
# 连接hive并获取表名列表
TABLES=`beeline -u "jdbc:hive2://$HIVE_HOST:$HIVE_PORT/default;auth=noSasl" -n $HIVE_USER -p $HIVE_PASSWORD -e "use $DATABASE; show tables like '$TABLE_PATTERN*';" | tail -n +4`
# 输出表名和数据量到csv文件
echo "Table Name,Data Size" > table_sizes.csv
for TABLE in $TABLES
do
ROW_COUNT=`beeline -u "jdbc:hive2://$HIVE_HOST:$HIVE_PORT/default;auth=noSasl" -n $HIVE_USER -p $HIVE_PASSWORD -e "use $DATABASE; select count(*) from $TABLE;" | tail -n +4`
echo "$TABLE,$ROW_COUNT" >> table_sizes.csv
done
```
你需要将`<hive_host>`、`<hive_port>`、`<hive_user>`和`<hive_password>`替换成你自己的hive连接参数。然后将以上代码保存到一个名为`table_sizes.sh`的文件中,然后在终端运行`sh table_sizes.sh`即可执行。执行完成后,你将会在当前目录下找到一个名为`table_sizes.csv`的文件,其中包含了每个匹配到的表名和对应的数据量。
阅读全文
相关推荐
![zip](https://img-home.csdnimg.cn/images/20241231045053.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![-](https://img-home.csdnimg.cn/images/20250102104920.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)