Hive函数详解：从关系到日期运算

"这篇文档详尽地列出了Hive中的各种函数，涵盖了关系运算、数学运算、逻辑运算、数值计算以及日期函数等多个方面，是学习和使用Hive进行数据处理的重要参考资料。" 在Hive中，函数是数据分析的核心工具，帮助用户进行数据过滤、计算和转换。以下是各部分的关键知识点： **一、关系运算** 1. **等值比较**: 使用`=`进行等值比较，例如`value1 = value2`，用于判断两个表达式是否相等。 2. **不等值比较**: 使用`<>`进行不等值比较，例如`value1 <> value2`，表示两个表达式不相等。 3. **小于比较**: 使用`<`判断一个表达式是否小于另一个，如`value1 < value2`。 4. **小于等于比较**: 使用`<=`，表示`value1`小于或等于`value2`。 5. **大于比较**: 使用`>`，表示`value1`大于`value2`。 6. **大于等于比较**: 使用`>=`，表示`value1`大于或等于`value2`。 7. **空值判断**: `ISNULL(column)`检查某个字段是否为NULL。 8. **非空判断**: `ISNOTNULL(column)`检查某个字段是否不为NULL。 9. **LIKE比较**: `column LIKE pattern`用于模糊匹配字符串，`pattern`可以包含通配符 `%` 和 `_`。 10. **JAVA的LIKE操作**: `RLIKE column pattern`基于Java正则表达式的模糊匹配。 11. **REGEXP操作**: `REGEXP column regex`使用正则表达式进行匹配。 **二、数学运算** 1. **加法**: 使用`+`将两个数相加，如`value1 + value2`。 2. **减法**: 使用`-`进行减法运算，如`value1 - value2`。 3. **乘法**: 使用`*`进行乘法运算，如`value1 * value2`。 4. **除法**: 使用`/`进行除法运算，如`value1 / value2`。 5. **取余**: 使用`%`进行取余运算，如`value1 % value2`。 6. **位与**: `&`用于进行按位与运算。 7. **位或**: `|`进行按位或运算。 8. **位异或**: `^`进行按位异或运算。 9. **位取反**: `~`对一个数字进行按位取反。 **三、逻辑运算** 1. **逻辑与**: 使用`AND`连接两个条件，当两个条件都为真时结果才为真。 2. **逻辑或**: 使用`OR`连接两个条件，当任意一个条件为真时结果就为真。 3. **逻辑非**: `NOT`用于否定一个布尔表达式。 **四、数值计算** 这部分包括各种数值处理函数，如取整、取随机数、指数和对数运算，以及幂运算和进制转换。 1. **取整函数**: `round(value, [decimals])`对数值进行四舍五入，`decimals`可选，表示保留的小数位数。 2. **指定精度取整**: 同上，用于精确控制小数位数。 3. **向下取整**: `floor(value)`返回小于或等于给定数值的最大整数。 4. **向上取整**: `ceil(value)`和`ceiling(value)`均表示返回大于或等于给定数值的最小整数。 5. **取随机数**: `rand()`返回0到1之间的一个随机浮点数。 6. **自然指数**: `exp(value)`计算e（自然对数的底数）的幂。 7. **对数函数**: 包括`log10(value)`以10为底的对数，`log2(value)`以2为底的对数，以及通用的`log(value)`对数函数。 8. **幂运算**: `pow(base, exponent)`和`power(base, exponent)`计算base的exponent次方。 9. **开平方**: `sqrt(value)`返回给定数值的平方根。 10. **二进制、十六进制及进制转换**: `bin(value)`, `hex(value)`, `unhex(hex_string)`, `conv(number, from_base, to_base)`分别用于二进制、十六进制转换，以及任意进制转换。 11. **绝对值**: `abs(value)`返回数值的绝对值。 12. **正取余**: `pmod(dividend, divisor)`返回除法的正余数。 13. **三角函数**: 如`sin(value)`, `asin(value)`, `cos(value)`, `acos(value)`，分别对应正弦、反正弦、余弦和反余弦。 14. **符号函数**: `positive(value)`和`negative(value)`返回数值的正负号。 **五、日期函数** 这部分涉及到日期和时间的处理，包括时间戳转换、日期提取和计算。 1. **UNIX时间戳转换**: `from_unixtime(unixtimestamp, format)`将UNIX时间戳转换为日期格式，`format`为可选的时间格式字符串。 2. **获取当前UNIX时间戳**: `unix_timestamp()`返回当前的UNIX时间戳。 3. **日期转UNIX时间戳**: `unix_timestamp(date)`将日期转换为UNIX时间戳。 4. **指定格式日期转UNIX时间戳**: `unix_timestamp(date, format)`根据指定格式将日期转换为时间戳。 5. **日期时间转日期**: `to_date(datetime)`从日期时间中提取日期部分。 6. **日期提取**: 如`year(date)`, `month(date)`, `day(date)`, `hour(datetime)`, `minute(datetime)`分别用于提取年、月、日、小时和分钟。 7. **其他日期函数**: 包括`to_date()`, `year()`, `month()`, `day()`, `hour()`, `minute()`等，用于日期和时间的处理。 这些函数在Hive的数据处理中起着关键作用，帮助用户进行数据的筛选、计算和转换，以满足不同的分析需求。