pyspark case
时间: 2023-08-16 16:15:07 浏览: 178
您好!对于您的问题,我可以为您提供关于使用PySpark中的case语句的一些信息。
在PySpark中,您可以使用`when`和`otherwise`函数来创建case语句。这允许您根据满足特定条件的列值执行不同的操作。
下面是一个简单的示例,展示了如何在PySpark中使用case语句:
```python
from pyspark.sql import SparkSession
from pyspark.sql.functions import when
# 创建SparkSession
spark = SparkSession.builder.getOrCreate()
# 创建一个示例DataFrame
data = [(1, "apple"), (2, "banana"), (3, "orange")]
df = spark.createDataFrame(data, ["id", "fruit"])
# 使用case语句创建一个新的列
df = df.withColumn("category", when(df.fruit == "apple", "fruit")
.when(df.fruit == "banana", "fruit")
.otherwise("unknown"))
# 显示结果
df.show()
```
在上述示例中,我们使用了`when`和`otherwise`函数来定义不同的条件和对应的操作。在这个例子中,如果水果是苹果或香蕉,则将`category`列设置为"fruit",否则设置为"unknown"。
希望这个例子能帮助到您!如果您有任何其他问题,请随时提问。
阅读全文