pyspark 同一列中按值替换

你可以使用 `pyspark.sql.functions.when` 函数来实现按值替换同一列中的数据。具体步骤如下：

1. 导入 `pyspark.sql.functions` 模块。

from pyspark.sql.functions import when

2. 使用 `when` 函数和 `otherwise` 函数来实现按值替换。

df = df.withColumn('column_name', when(df.column_name == 'old_value', 'new_value').otherwise(df.column_name))

在上述代码中，`df` 是你的数据集，`column_name` 是你想要替换的列名，`old_value` 是要替换的旧值，`new_value` 是替换成的新值。

例如，如果你想要将 `column_name` 列中的所有值为 `0` 的数据替换为 `1`，可以使用以下代码：

df = df.withColumn('column_name', when(df.column_name == 0, 1).otherwise(df.column_name))

相关问题

pyspark 按值替换

在 PySpark 中，可以使用 `withColumn` 和 `when` 函数来实现按值替换。

例如，假设我们有一个 DataFrame，其中包含一个名为 `score` 的列，我们想要将其中小于等于 60 的值替换为 `Fail`，大于 60 的值替换为 `Pass`：

from pyspark.sql.functions import when

# 创建 DataFrame
df = spark.createDataFrame([(50,), (70,), (80,), (55,), (90,)], ['score'])

# 按值替换
df = df.withColumn('score', when(df['score'] <= 60, 'Fail').otherwise('Pass'))

这里，`when` 函数接受一个条件（即小于等于 60），并在满足条件时返回 `Fail`，否则返回 `Pass`。然后，我们使用 `withColumn` 函数将新列重新命名为 `score`，并将其结果保存回原始 DataFrame 中。

pyspark修改列值

在pyspark中修改列值可以使用`withColumn`函数。例如，如果你想要将一个名为`rate`的列中小于等于0.3的值改为1，其他值改为0，你可以使用以下代码：

from pyspark.sql.functions import when, col

df = df.withColumn('rate', when(col('rate') <= 0.3, 1).otherwise(0))

这行代码将会在`df`数据框中创建一个新的`rate`列，根据条件判断将对应的值进行修改。小于等于0.3的值对应的元素将会被替换为1，其他值将会被替换为0。 [1<em>1</em><em>2</em><em>3</em>
#### 引用[.reference_title]
- *1* *2* *3* [python的dataframe与pyspark的dataframe](https://blog.csdn.net/yingfengfeixiang/article/details/115628073)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}} ] [.reference_item]
[ .reference_list ]