Dataset<Row> result = infoDataset.groupBy("姓名").agg(length("ID").alias("人数"))).distinct();//去重; result.show();
时间: 2024-03-31 21:33:14 浏览: 50
JAVA spark创建DataFrame的方法
这段代码的作用是对一个DataFrame进行基于“姓名”字段的分组,然后统计每个分组中“ID”字段的数量,并将这个统计结果保存在一个新的DataFrame中。其中,`.groupBy("姓名")`表示按照“姓名”字段进行分组操作,`.agg(length("ID").alias("人数"))`表示对每个分组中的“ID”字段进行长度统计,并将结果保存在一个名为“人数”的新字段中,`.distinct()`表示对结果进行去重操作。最后,`.show()`表示把结果打印出来展示。
阅读全文