批量替换DataFrame里的空值

回答: 要批量替换DataFrame中的空值，可以使用DataFrame的fillna()函数或na.fill()函数。这两个函数底层都是调用fillna()函数来完成替换操作。您可以使用以下代码行来批量替换DataFrame中的空值：
df.fillna("替换值")
或
df.na.fill("替换值")
其中，"替换值"是您希望用来替换空值的具体数值或字符串。这样，DataFrame中的所有空值都会被替换为指定的值。\[1\]另外，如果您想要获取具有布尔类型的数据帧中的列，可以使用以下代码行：
col_with_bool = \[item\[0\] for item in df.dtypes if item\[1\].startswith('boolean')\]\[2\]这样，您就可以获取到具有布尔类型的数据帧中的列。\[2\]如果您想要在DataFrame中批量替换空值，可以使用以下代码行：
val offlineData: DataFrame = ......
val offlineDataFieldName: Array\[String\] = offlineData.schema.names
(0 until offlineDataFieldName.length).foreach(idx => {
offlineData = offlineData.withColumn(
offlineDataFieldName.apply(idx),
when(col(offlineDataFieldName.apply(idx)) === "" or col(offlineDataFieldName.apply(idx)) === "其它值", lit(null)).otherwise(col(offlineDataFieldName.apply(idx)))
)
})这段代码会遍历DataFrame中的每一列，并使用when函数来判断列值是否为空或为指定的其他值，如果是，则使用lit(null)来替换空值，否则保持原值不变。这样，您就可以批量替换DataFrame中的空值。\[3\]
#### 引用[.reference_title]
- *1* [spark dataframe 填充列值为 null（空值）的方式](https://blog.csdn.net/weixin_39622332/article/details/112950760)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
- *2* [pyspark用另一个值替换dataframe中的所有值](https://blog.csdn.net/weixin_39787606/article/details/112041734)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
- *3* [spark dataframe 将每一列中的空字符(或其它值)替换成null](https://blog.csdn.net/az9996/article/details/124445564)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]