pyspark dataframe 怎么指定从第四行开始按第一列降序排序
时间: 2023-05-22 21:07:12 浏览: 210
pyspark给dataframe增加新的一列的实现示例
您可以使用以下代码:
```python
from pyspark.sql.functions import desc
sorted_df = df.orderBy(desc(df.columns[0])).limit(df.count() - 3)
```
其中 `df` 是您的 dataframe 变量, `.orderBy(desc(df.columns[0]))` 按第一列降序排序, `limit(df.count() - 3)` 从第四行开始获取 dataframe。
请注意,这仅适用于您的 dataframe 至少有四行数据。如果数据不足四行,则无法进行排序。
阅读全文