pyspark的dataframe如何只保留几列
时间: 2023-09-27 22:05:50 浏览: 95
pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例
5星 · 资源好评率100%
您好,关于您的问题,您可以使用下列代码片段来保留您所需的列:
```python
# 创建DataFrame
from pyspark.sql.functions import col
data = [("Alice", 25, "female"), ("Bob", 30, "male"), ("Charlie", 35, "male")]
df = spark.createDataFrame(data, ["name", "age", "gender"])
# 保留指定列
df.select(col("name"), col("gender")).show()
```
在上面的示例中,我们首先创建了一个数据集,然后使用`select()`方法只选择了`name`和`gender`两列。使用这种方法,您可以很容易地保留您所需的列。
阅读全文