val survived_df = df2.filter(col("Survived") === 1) val pclass_survived_count = survived_df.groupBy("Pclass").count() val pclass_survived_percent = pclass_survived_count.withColumn("percent", format_number(col("count") .divide(sum("count").over()) .multiply(100), 5)); pclass_survived_percent.show() 中.divide(sum("count").over())的作用
时间: 2024-03-31 15:36:46 浏览: 27
解决keras,val_categorical_accuracy:,0.0000e+00问题
.divide(sum("count").over()) 的作用是将每个 Pclass 组中的 count 数量除以所有组的 count 数量总和,然后乘以 100,计算出每个 Pclass 组的生存百分比。其中,sum("count").over() 是一个窗口函数,它对整个 DataFrame 进行聚合操作,计算所有组的 count 数量总和。然后,对于每个组,我们可以用该组的 count 数量除以总和,得到该组的百分比。最后,使用 format_number 函数将结果保留小数点后 5 位,并将结果存储在新的列 "percent" 中。这样,我们就可以观察每个 Pclass 组的生存情况,并对不同 Pclass 组之间进行比较。
阅读全文