hive空值0值 或 关联不上的，用随机数

在Hive中处理空值（NULL）和0值时，如果你想要替代它们而不是直接使用它们，可以使用COALESCE函数或者CASE WHEN语句配合RAND()函数生成随机数。

1. 使用COALESCE函数：

SELECT COALESCE(column_name, 0) AS column_with_zero, RAND() AS random_number FROM table_name;

这将返回`column_name`列如果有值就保持不变，如果为空则替换为0。同时，会为每一行生成一个随机数。

2. 使用CASE WHEN语句：

SELECT 
    CASE 
        WHEN column_name = 0 THEN 0
        ELSE column_name
    END AS column_with_zero,
    RAND() AS random_number
FROM table_name;

这个查询检查`column_name`是否为0，如果是，则给它赋值0，否则保留原值，并在每行添加随机数。

注意，这里的随机数可能会因为数据分区、分片等原因而并非全局唯一，而且每次查询结果可能都会不同。

相关问题

hive数据倾斜 参数调优

为了解决Hive数据倾斜问题，可以通过调整参数进行优化。其中，hive.groupby.skewindata参数可以控制当GROUP BY操作出现数据倾斜时是否进行负载均衡。当该参数设置为true时，Hive会自动进行负载均衡，将数据均匀地分配到不同的reduce任务中，从而提高作业的效率。另外，还可以采用以下两种方法进行优化：

方法1：使用DISTRIBUTE BY和SORT BY操作

SELECT col1, col2, count(*) FROM table_name
DISTRIBUTE BY col1
SORT BY col1, col2

方法2：使用随机数解决数据倾斜问题

SELECT col1, col2, count(*) FROM (
    SELECT if(col1 is null, concat('null', rand()), col1) as col1, col2 FROM table_name
) t
GROUP BY col1, col2

其中，方法2比方法1效率更好，因为它不仅减少了IO操作，还减少了作业数。此外，对于无效id（如-99、''、null等）产生的倾斜问题，可以将空值的key变成一个字符串加上随机数，从而将倾斜的数据分配到不同的reduce上，解决数据倾斜问题。