hivesql 比对同一张表有200多字段 不同分区 字段 有变化的 记录都统计出来

Hive SQL 是一种基于 Hadoop 的数据仓库工具，它允许你在大型分布式数据库上执行查询。如果你需要比较同一张表的不同分区（partition），其中字段数量众多且部分字段可能会有所变化，并统计出所有发生变化的记录，你可以使用动态SQL或者一些自定义函数结合窗口函数来实现。

以下是一个基本的思路：

1. 首先，你需要获取每个分区的列信息，这可以通过系统内置的信息_schema函数来完成，例如`DESCRIBE EXTENDED table_name PARTITION (partition_key=value)`，这会返回包含所有字段信息的结果集。

2. 对于每个分区，分别提取其字段名，然后创建一个临时表或集合存储这些字段。

3. 写一个脚本或循环遍历每个分区，对比当前分区的字段列表和历史版本（如果有的话）。可以使用 `EXCEPT` 或者 `INTERSECT DISTINCT` 来找出新增、删除或修改的字段。

4. 使用聚合函数如 COUNT(*) 或 SUM(CASE WHEN field IS NULL THEN 1 ELSE 0 END) 来计算每种变更类型的记录数。

5. 结果汇总或者展示，可能需要编写额外的SQL查询来组织和显示结果。

由于涉及到的具体操作可能会因为Hive的特性而略有差异，实际执行时可能需要调整。以下是伪代码形式：

WITH historical_fields AS (
  SELECT * FROM historical_field_info WHERE partition_key = ...
),
current_fields AS (
  SELECT column_name FROM information_schema.columns WHERE table_name = ... AND partition_key = ...
),

changes AS (
  SELECT
    'New Field' AS change_type,
    column_name
  FROM current_fields
  EXCEPT
  SELECT column_name FROM historical_fields
  UNION ALL
  SELECT
    'Deleted Field',
    column_name
  FROM historical_fields
  EXCEPT
  SELECT column_name FROM current_fields
  UNION ALL
  SELECT
    'Modified Field',
    column_name
  FROM current_fields
  WHERE column_name IN (SELECT column_name FROM historical_fields)
)

SELECT
  change_type,
  COUNT(*) as record_count
FROM changes
GROUP BY change_type
ORDER BY change_type;