withcolumn的参数说明
时间: 2023-12-24 08:04:16 浏览: 77
`withColumn()` 是 Spark DataFrame API 中常用的一个方法,用于向 DataFrame 添加新的列或替换已有的列。它的参数说明如下:
- 第一个参数 `colName`: 新列的名称,必须为字符串类型。
- 第二个参数 `col`: 新列的值,可以是一个表达式或一个函数,该表达式或函数将被应用于 DataFrame 的每一行。
- 如果需要在 DataFrame 中添加多个新列,则可以调用多次 `withColumn()` 方法,每次添加一个新列。
例如,以下代码将向 DataFrame 添加一个名为 `age_squared` 的新列,其值为 `age` 列的平方:
```python
from pyspark.sql.functions import col
df = df.withColumn("age_squared", col("age") * col("age"))
```
阅读全文