hive 怎么切割150w数据为3段50w的

在 Hive 中，你可以使用 `DISTRIBUTE BY` 和 `SORT BY` 子句将数据分组并排序，然后使用 `LIMIT` 子句限制每个分组的行数。以下是一个示例：

假设你有一个名为 `my_table` 的表，其中有一个名为 `id` 的整数列，你想将数据分为三个部分，每个部分包含 50 万行。你可以执行以下操作：

1. 按 `id` 列排序并分组：

SELECT *
FROM my_table
DISTRIBUTE BY id
SORT BY id;

2. 使用 `LIMIT` 子句限制每个分组的行数为 50 万：

SELECT *
FROM (
  SELECT *,
         ROW_NUMBER() OVER (PARTITION BY id ORDER BY id) as row_num
  FROM my_table
  DISTRIBUTE BY id
  SORT BY id
) t
WHERE row_num <= 500000;

这里使用了 `ROW_NUMBER()` 函数来为每个分组中的行进行编号，然后在外部查询中使用 `WHERE` 子句来选择行号小于等于 50 万的行。

如果你想将数据分成不同的文件，可以使用 `INSERT OVERWRITE DIRECTORY` 子句将数据插入到不同的目录中。例如：

INSERT OVERWRITE DIRECTORY '/path/to/output1'
SELECT *
FROM (...);

INSERT OVERWRITE DIRECTORY '/path/to/output2'
SELECT *
FROM (...);

INSERT OVERWRITE DIRECTORY '/path/to/output3'
SELECT *
FROM (...);

这样就将数据分成了三个部分，并将每个部分输出到了不同的目录中。