shell脚本清洗数据
时间: 2023-08-19 15:18:12 浏览: 63
这个shell脚本是用来清洗数据的。脚本中包含了一些任务(Job)的描述,每个任务对应一个SQL脚本文件。用户需要输入用户名和密码,并选择要执行的SQL脚本。脚本会使用输入的用户名和密码连接到数据库,并执行选定的SQL脚本。执行完成后,脚本会显示执行结果。\[1\]
此外,还有一个数据清洗的jar包,用于对日志文件进行清洗,并将清洗后的结果移动到Hive表中,并刷新元数据信息。该jar包的路径是/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/lib/g6-hadoop-1.0.jar。\[2\]
脚本中还有一些变量需要用户自行设置,如数据库用户名、密码和主机名。此外,SQL脚本文件(job1.sql/job2.sql/job3.sql/job4.sql/job5.sql)需要放在与Shell脚本相同的目录下,并且脚本文件中应包含正确的SQL语句。\[3\]
#### 引用[.reference_title]
- *1* *3* [Shell脚本执行SQL](https://blog.csdn.net/yudian1991/article/details/106448258)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item]
- *2* [shell脚本之数据清洗](https://blog.csdn.net/liweihope/article/details/89335648)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)