Hive 内置函数详解：常用函数与自定义函数

# 1. 引言

## 1.1 什么是 Hive 内置函数

Hive 内置函数是指在 Hive 查询语句中可以直接使用的函数，这些函数被嵌入到 Hive 查询引擎中，可以方便地对数据进行处理和转换。Hive 内置函数提供了丰富的功能，包括字符串处理、数值计算、日期与时间处理、数据类型转换等。

## 1.2 为什么需要使用内置函数

使用 Hive 内置函数可以大大简化数据处理的过程，提高开发效率。在进行 Hive 数据分析时，经常需要对数据进行各种处理和计算，如果只使用原生的 SQL 语句，处理起来会比较繁琐，而且效率也不高。而内置函数提供了丰富的功能，可以直接在查询语句中使用，减少了额外的代码编写工作，同时也提供了更高效的数据处理能力。

使用内置函数还可以减少数据集的传输量，提高查询性能。在分布式计算环境下，数据通常是存储在分布式文件系统中，使用内置函数可以在数据存储位置进行处理，减少了数据的传输量，提高了查询性能。

综上所述，使用 Hive 内置函数可以简化数据处理过程，提高开发效率和查询性能，因此在 Hive 数据分析中是非常常见和必要的工作。
## Hive 常用函数

在 Hive 中，内置了许多函数来帮助我们处理和转换数据。这些函数可以根据需求，进行字符串的处理、数值的计算、日期与时间的操作、数据类型的转换以及条件的筛选等操作。下面我们将介绍一些常用的 Hive 内置函数。

### 2.1 字符串函数

Hive 提供了一系列的字符串函数，用于处理字符串的拼接、分割、截取、替换等操作。例如，我们可以使用 `concat` 函数将多个字符串进行拼接，使用 `substr` 函数截取字符串的一部分，使用 `replace` 函数替换字符串中的特定字符等等。

下面是一些常用的字符串函数的使用示例：

-- 拼接字符串
SELECT concat('Hello', ' ', 'World') AS result;
-- 输出：Hello World

-- 截取字符串
SELECT substr('Hello World', 1, 5) AS result;
-- 输出：Hello

-- 替换字符串
SELECT replace('Hello World', 'World', 'Hive') AS result;
-- 输出：Hello Hive

### 2.2 数值函数

Hive 也提供了一系列的数值函数，用于进行数值的计算、取整、四舍五入等操作。例如，我们可以使用 `sum` 函数对一组数值进行求和，使用 `floor` 函数对数值进行向下取整，使用 `round` 函数对数值进行四舍五入等等。

下面是一些常用的数值函数的使用示例：

-- 求和
SELECT sum(salary) AS total_salary FROM employee_table;

-- 取整
SELECT floor(3.7) AS result;
-- 输出：3

-- 四舍五入
SELECT round(3.6) AS result;
-- 输出：4

### 2.3 日期与时间函数

在 Hive 中，我们可以使用内置的日期与时间函数来处理日期和时间的操作。例如，我们可以使用 `current_date` 函数获取当前日期，使用 `date_sub` 函数计算日期的差值，使用 `date_format` 函数将日期格式化为指定的格式等等。

下面是一些常用的日期与时间函数的使用示例：

-- 获取当前日期
SELECT current_date() AS current_date;

-- 计算日期的差值
SELECT date_sub('2022-10-01', '2022-09-01') AS days_diff;

-- 将日期格式化为指定格式
SELECT date_format('2022-11-11', 'yyyy-MM-dd') AS formatted_date;

### 2.4 转换函数

在 Hive 中，我们还可以使用转换函数来进行数据类型的转换。例如，我们可以使用 `cast` 函数将字符串转换为整数，使用 `to_unix_timestamp` 函数将日期转换为 Unix 时间戳，使用 `from_unixtime` 函数将 Unix 时间戳转换为日期等等。

下面是一些常用的转换函数的使用示例：

-- 字符串转整数
SELECT cast('123' AS INT) AS result;
-- 输出：123

-- 日期转 Unix 时间戳
SELECT to_unix_timestamp('2022-12-31 00:00:00') AS timestamp;

-- Unix 时间戳转日期
SELECT from_unixtime(1672473600, 'yyyy-MM-dd HH:mm:ss') AS formatted_date;

### 2.5 条件函数

Hive 也提供了一些条件函数，用于进行数据的筛选和条件判断。例如，我们可以使用 `if` 函数进行条件判断，使用 `case` 函数进行多分支的条件判断等等。

下面是一些常用的条件函数的使用示例：

-- 条件判断
SELECT IF(salary > 5000, 'High', 'Low') AS salary_level FROM employee_table;

-- 多分支条件判断
SELECT
  CASE 
    WHEN age < 3