regexp_replace hive
时间: 2023-04-29 18:06:29 浏览: 132
b'regexp_replace hive'是一个Hive内置函数,用于在字符串中通过正则表达式替换子字符串。它的语法格式为REGEXP_REPLACE(string, pattern, replacement),其中string是要进行替换的字符串,pattern是要匹配的正则表达式,replacement是替换的字符串。该函数可以用于数据清洗、文本处理等场景。
相关问题
#!/bin/sh sleep 180 hive -e "select day_id, regexp_replace(work_order_id, '\\\\t', ''), regexp_replace(order_assess_id, '\\\\t', ''), regexp_replace(contact_type, '\\\\t', ''), regexp_replace(scene_type, '\\\\t', ''), regexp_replace(assess_mode, '\\\\t', ''), regexp_replace(join_mode, '\\\\t', ''), regexp_replace(mobile_phone, '\\\\t', ''), regexp_replace(complaint_phone, '\\\\t', ''), regexp_replace(check_assess_result, '\\\\t', ''), regexp_replace(date_format(assesssendtime, 'MM/dd/yyyy HH:mm:ss'), '\\\\t', ''), regexp_replace(date_format(usersubtime, 'MM/dd/yyyy HH:mm:ss'), '\\\\t', ''), regexp_replace(is_evaluation, '\\\\t', ''), regexp_replace(issolve, '\\\\t', ''), regexp_replace(check_assess_score, '\\\\t', ''), regexp_replace(reason, '\\\\t', '') from db_dws_jt.dws_jscp_result_bus43032 where day_id='${begin_date}';" > /data1/u_eda_lx_grp01/wwd/in_2010/dws_db_dws_in_2012_touch_10000_d.dat sed -i 's/NULL//g' /data1/u_eda_lx_grp01/wwd/in_2010/dws_db_dws_in_2012_touch_10000_d.dat sed -i 's/\t/|@|/g' /data1/u_eda_lx_grp01/wwd/in_2010/dws_db_dws_in_2012_touch_10000_d.dat sleep 120 ftp -i -n<<! open 10.7.6.118 user infaope Dc27-Fhna bin cd /ftpdata/receive/eda_in/in_2010/ lcd /data1/u_eda_lx_grp01/wwd/in_2010 prompt put dws_db_dws_in_2012_touch_10000_d.dat close bye ! 这段代码什么意思
这段代码是一个Shell脚本,功能类似于上面的例子。它将从Hive表中查询指定日期的数据,并将结果导出到文件,然后通过FTP上传到远程服务器。
首先,脚本暂停执行180秒。
接下来,使用Hive命令从表`db_dws_jt.dws_jscp_result_bus43032`中查询指定日期的数据,并将结果输出到文件`/data1/u_eda_lx_grp01/wwd/in_2010/dws_db_dws_in_2012_touch_10000_d.dat`。
在查询结果中,使用`regexp_replace`函数对各个字段进行处理,将其中的制表符替换为空格。
然后,使用`sed`命令对文件进行处理,将其中的NULL字符串替换为空格,并将制表符替换为特殊字符串"|@|"。
然后,脚本再次暂停执行120秒。
最后,使用FTP命令连接到远程服务器,通过用户名和密码进行验证。然后切换到指定目录`/ftpdata/receive/eda_in/in_2010/`,设置本地目录为`/data1/u_eda_lx_grp01/wwd/in_2010`,启用被动模式。接着,将文件`dws_db_dws_in_2012_touch_10000_d.dat`上传到远程服务器。最后,关闭FTP连接。
这段代码的作用是将Hive表中指定日期的数据导出到文件,并通过FTP上传到远程服务器。
hive regexp_replace
Hive 中的 regexp_replace 函数可以用于在字符串中替换符合正则表达式的部分。语法如下:
regexp_replace(string, string pattern, string replacement)
其中,string 为要替换的字符串,pattern 为要匹配的正则表达式,replacement 为替换后的字符串。
例如:
SELECT regexp_replace("Hello World!", "World", "China") FROM some_table;
上面的语句将 "Hello World!" 中的 "World" 替换为 "China"。
结果为: "Hello China!"
阅读全文