pyspark的dataframe保留某几列的几种方式有什么
时间: 2023-11-22 07:51:54 浏览: 65
pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例
5星 · 资源好评率100%
答案:保留dataframe中的某几列的几种方式有以下几种:
1. 使用select函数:使用select函数可以选择保留的列,并返回一个新的dataframe。
```python
df_new = df.select(col1, col2, col3)
```
2. 使用drop函数:使用drop函数可以删除不需要的列,返回一个新的dataframe。
```python
df_new = df.drop(col4, col5)
```
3. 使用withColumn函数:使用withColumn函数可以添加新列或替换现有列,返回一个新的dataframe。可以使用lit()函数来添加常量列。
```python
df_new = df.withColumn(col6, lit('constant_value'))
```
4. 使用selectExpr函数:使用selectExpr函数可以在一行代码中完成多个列的选择和转换,并返回一个新的dataframe。
```python
df_new = df.selectExpr("col1", "col2 as alias_col2", "col3 + col4 as new_col")
```
阅读全文