hive 各种by区别

在 Hive 中，BY 子句通常用于 GROUP BY 和 ORDER BY 语句中，以对结果进行分组或排序。以下是各种 BY 子句的区别：

1. GROUP BY
GROUP BY 子句用于将结果集按照一个或多个列分组，并对每个分组执行聚合函数，例如 COUNT、SUM、AVG 等。例如：

SELECT department, COUNT(*) FROM employees GROUP BY department;

这将返回按照 department 列分组的结果集，以及每个分组中员工数量的计数。

2. ORDER BY
ORDER BY 子句用于对结果集按照一个或多个列进行排序。例如：

SELECT * FROM employees ORDER BY salary DESC;

这将返回按照 salary 列降序排列的结果集。

3. CLUSTER BY
CLUSTER BY 子句用于将结果集按照一个或多个列进行排序，并将相邻的行分配到相同的 reducer 中。这可以在查询结果被写入 HDFS 时提高查询效率。例如：

SELECT * FROM employees CLUSTER BY department;

这将返回按照 department 列排序的结果集，并将相邻的行分配到相同的 reducer 中。

4. DISTRIBUTE BY
DISTRIBUTE BY 子句用于将结果集按照一个或多个列进行分发，以便在 reducer 端进行进一步的聚合操作。例如：

SELECT * FROM employees DISTRIBUTE BY department;

这将返回将结果集按照 department 列分发的结果集。

5. SORT BY
SORT BY 子句用于将结果集按照一个或多个列进行排序，但不保证相邻的行会被分配到同一个 reducer 中。例如：

SELECT * FROM employees SORT BY salary DESC;

这将返回按照 salary 列降序排列的结果集，但相邻的行可能被分配到不同的 reducer 中。