hive中sort by 和order by distinct by的区别

在Hive中，sort by和order by distinct by都是用于对查询结果进行排序的关键字，但它们有不同的用途和实现方式。

1. sort by

sort by用于对查询结果进行排序，但是不去重。它可以按照一个或多个字段进行排序，但是在分组时会将相同的值分到一组中。这意味着，如果有多个相同的值，它们的顺序可能会发生变化。

sort by只是在map端对数据进行排序，因此它的性能比order by要高。但是，由于不去重，所以当出现重复数据时，sort by可能会导致结果不正确。

2. order by distinct by

order by distinct by用于对查询结果进行排序，并去除重复的数据。它可以按照一个或多个字段进行排序，并且在排序时会去除重复的数据。这意味着，如果有多个相同的值，只有一个值会被保留，并按照指定的顺序进行排序。

order by distinct by在reduce端对数据进行排序，并且需要对数据进行分组和聚合，因此它的性能比sort by要低。但是，由于去重，所以它可以保证结果的正确性。

总的来说，sort by和order by distinct by都可以对查询结果进行排序，但是它们的用途和实现方式不同。如果需要去重并排序，应该使用order by distinct by；如果只需要排序，可以使用sort by。

相关问题

hive中，八十多个字段要去重，不用distinct还可以用什么方法

在Hive中，如果你不想直接使用`DISTINCT`关键字去重80多个字段，还有其他几种方法可以实现数据去重，尽管它们可能不如`DISTINCT`那么直观：

1. **GROUP BY** + **LIMIT**: 可以对所有字段按照某种组合方式进行分组，然后取每个分组的第一条记录。例如，如果你想要去除唯一的一个键值对，可以这样做：

   SELECT * FROM table_name GROUP BY column1, column2, ..., column80 HAVING COUNT(*) = 1 LIMIT 1;

2. **窗口函数 ROW_NUMBER()**: 使用窗口函数对行进行编号，然后选择行号为1的数据。这需要将数据表排序，并设置row_number()为1的地方作为去重依据：

   SELECT *
   FROM (
     SELECT *, ROW_NUMBER() OVER(PARTITION BY column1, column2, ... column80 ORDER BY some_sort_column) as row_num
     FROM table_name
   ) subquery
   WHERE row_num = 1;

3. **自连接（Self Join）**: 如果数据中有唯一的主键或者可以组成复合键，你可以创建一个临时表或者自身连接来进行去重：

   SELECT a.*
   FROM table_name a
   JOIN table_name b ON a.column1 = b.column1 AND a.column2 = b.column2 AND ... a.column80 = b.column80
   WHERE a.id < b.id

请注意，对于大量的字段去重，上述方法可能会因为性能原因效率不高，尤其是自连接方法。在实际操作时，你需要根据数据量、表结构以及查询性能需求来选择合适的方法。

hive 分组+排序 1、创建外部表employess41_table，表名中加上座位号 CREATE EXTERNAL TABLE IF NOT EXISTS employess01_table( staff_name STRING, staff_age INT, staff_salary FLOAT, late_deduction FLOAT, staff_dept STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' STORED AS textfile LOCATION '/hive'; 2、将下列数据使用基本插入方式插入到表中，并查看表中数据。 insert into table employess41_table values ("Lilith Hardy",30,6000,50,"Finance Department"), ("Byron Green",36,5000,25,"Personnel Department"), ("Yvette Ward",21,4500,15.5,""), ("Arlen Esther",28,8000,20,"Finance Department"), ("Rupert Gold",39,10000,66,"R&D Department"), ("Deborah Madge",41,6500,0,"R&D Department"), ("Tim Springhall",22,6000,36.5,"R&D Department"), ("Olga Belloc",36,5600,10,"Sales Department"), ("Bruno Wallis",43,6700,0,"Personnel Department"), ("Flora Dan",27,4000,35,"Sales Department"); 3、获取部门R&D Department中薪资大于8000的员工信息。 4、查询员工信息表employess_table的部门信息。 5、查询同一部门的工资总数。 6、查询同一部门的平均年龄。 7、执行“vi sales.txt”命令，创建商品销售额数据文件sales.txt，在数据文件sales.txt中添加如下内容。 SiChuan,ChengDu,34631 SiChuan,MianYang,54516 SiChuan,LeShan,41288 SiChuan,Deyang,13492 SiChuan,PanZhiHua,48080 SiChuan,YaAn,64473 SiChuan,DuJiangYan,12464 SiChuan,LuZhou,29712 HuBei,WuHan,16564 HuBei,YiBin,87007 HuBei,XiaoGan,59840 HuBei,JinZhou,86992 HuBei,HuangGan,12906 HuBei,XiangYang,64564 HuBei,EnShi,23074 HeBei,ShiJiaZhuang,73612 HeBei,BaoDing,68192 HeBei,TangShan,29889 HeBei,XiangTai,86107 HeBei,LangFang,70897 HeBei,ChengDe,30378 8、在本地文件系统/home目录中创建文件夹姓名缩写，例如张三创建文件夹zs，将文件上传至本地文件系统/home/zs中 9、创建内部表sales41_table，从本地系统导入文件数据，并查询表信息。字段如下： province STRING, city STRING, sales_amount FLOAT 10、查询商品销售表sales_table中销售额排名前10的省份及城市。 11、使用ORDER BY和SORT BY分别对商品销售表sales_table中不同省份内每个城市的销售额进行排序。 12、通过手动设置参数的方式将Reducer个数调整为3，使用ORDER BY和SORT BY对商品销售表sales_table中不同省份内每个城市的销售额进行排序。

3获取部门R&D Department中薪资大于8000的员工信息。

SELECT * FROM employess41_table WHERE staff_dept = 'R&D Department' AND staff_salary > 8000;

4、查询员工信息表employess_table的部门信息。

SELECT DISTINCT staff_dept FROM employess41_table;

5、查询同一部门的工资总数。

SELECT staff_dept, SUM(staff_salary) AS total_salary FROM employess41_table GROUP BY staff_dept;

6、查询同一部门的平均年龄。

SELECT staff_dept, AVG(staff_age) AS avg_age FROM employess41_table GROUP BY staff_dept;

7、执行“vi sales.txt”命令，创建商品销售额数据文件sales.txt，在数据文件sales.txt中添加如下内容。

（此处无法执行）

8、在本地文件系统/home目录中创建文件夹姓名缩写，例如张三创建文件夹zs，将文件上传至本地文件系统/home/zs中

mkdir ~/zs
scp sales.txt username@remote_host:~/zs/sales.txt

9、创建内部表sales41_table，从本地系统导入文件数据，并查询表信息。字段如下： province STRING, city STRING, sales_amount FLOAT

CREATE TABLE sales41_table (
  province STRING,
  city STRING,
  sales_amount FLOAT
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n';

LOAD DATA LOCAL INPATH '~/zs/sales.txt' INTO TABLE sales41_table;

SELECT * FROM sales41_table;

10、查询商品销售表sales_table中销售额排名前10的省份及城市。

SELECT province, city, sales_amount FROM sales41_table ORDER BY sales_amount DESC LIMIT 10;

11、使用ORDER BY和SORT BY分别对商品销售表sales_table中不同省份内每个城市的销售额进行排序。

-- 使用ORDER BY
SELECT province, city, sales_amount FROM sales41_table WHERE province = 'SiChuan' ORDER BY sales_amount DESC;

-- 使用SORT BY
SELECT province, city, sales_amount FROM sales41_table WHERE province = 'SiChuan' SORT BY sales_amount DESC;

12、通过手动设置参数的方式将Reducer个数调整为3，使用ORDER BY和SORT BY对商品销售表sales_table中不同省份内每个城市的销售额进行排序。

SET mapreduce.job.reduces=3;

-- 使用ORDER BY
SELECT province, city, sales_amount FROM sales41_table WHERE province = 'SiChuan' ORDER BY sales_amount DESC;

-- 使用SORT BY
SELECT province, city, sales_amount FROM sales41_table WHERE province = 'SiChuan' SORT BY sales_amount DESC;