hive中，八十多个字段要去重，不用distinct还可以用什么方法

在Hive中，如果你不想直接使用`DISTINCT`关键字去重80多个字段，还有其他几种方法可以实现数据去重，尽管它们可能不如`DISTINCT`那么直观：

1. **GROUP BY** + **LIMIT**: 可以对所有字段按照某种组合方式进行分组，然后取每个分组的第一条记录。例如，如果你想要去除唯一的一个键值对，可以这样做：

   SELECT * FROM table_name GROUP BY column1, column2, ..., column80 HAVING COUNT(*) = 1 LIMIT 1;

2. **窗口函数 ROW_NUMBER()**: 使用窗口函数对行进行编号，然后选择行号为1的数据。这需要将数据表排序，并设置row_number()为1的地方作为去重依据：

   SELECT *
   FROM (
     SELECT *, ROW_NUMBER() OVER(PARTITION BY column1, column2, ... column80 ORDER BY some_sort_column) as row_num
     FROM table_name
   ) subquery
   WHERE row_num = 1;

3. **自连接（Self Join）**: 如果数据中有唯一的主键或者可以组成复合键，你可以创建一个临时表或者自身连接来进行去重：

   SELECT a.*
   FROM table_name a
   JOIN table_name b ON a.column1 = b.column1 AND a.column2 = b.column2 AND ... a.column80 = b.column80
   WHERE a.id < b.id

请注意，对于大量的字段去重，上述方法可能会因为性能原因效率不高，尤其是自连接方法。在实际操作时，你需要根据数据量、表结构以及查询性能需求来选择合适的方法。