pyspark 修改所有列

在PySpark中，如果你想要修改DataFrame的所有列，通常你需要遍历每一列并应用相应的操作。Pyspark DataFrame是一个分布式数据集，它的结构类似Python的pandas DataFrame，但是底层是基于RDD（弹性分布式数据集）。

下面是一个例子，假设你想对DataFrame中的所有数值列进行四舍五入：

from pyspark.sql import functions as F

# 假设df是一个DataFrame，columns是一个包含所有数值列名的列表
columns = df.select_dtypes(include=["float", "int"]).columns

for column in columns:
    df = df.withColumn(column, F.round(df[column], 2))  # 这里2是保留的小数位数

# 现在df的所有指定类型的列都被四舍五入到了小数点后两位

注意，这需要你提前知道哪些列是数值类型，如果不确定，可能需要先做一些列类型检查。此外，直接修改原DataFrame可能会导致性能下降，特别是在大数据集上，因为每次修改都会创建一个新的DataFrame。如果只是为了查看结果，可以考虑创建一个新的视图（view）。