dataframe groupby 实现 sql groupby取第一个

在 Pandas 中，可以使用 `groupby()` 方法进行分组，并使用 `first()` 方法选取每个组的第一个值。

例如，假设有一个名为 `df` 的 DataFrame，其中包含以下数据：

  name  value
0    A      1
1    B      2
2    C      3
3    A      4
4    B      5
5    C      6

我们可以按 `name` 列对数据进行分组，并选取每个组的第一个值，代码如下：

result = df.groupby('name').first()

运行结果如下：

      value
name       
A         1
B         2
C         3

其中，`groupby('name')` 对数据按 `name` 列进行分组，`first()` 方法选取每个组的第一个值。最终得到一个新的 DataFrame，其中包含每个组的第一个值。

需要注意的是，`groupby()` 方法返回的是一个 GroupBy 对象，需要使用聚合函数（如 `first()`）来对每个组进行操作。

相关问题

DataFrame groupby

Pandas 中的 `groupby()` 函数可以对 DataFrame 进行分组操作，类似于 SQL 中的 GROUP BY。它的基本语法如下：

df.groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, squeeze=False, observed=False, **kwargs)

其中，参数的含义如下：

- `by`: 分组依据，可以是列名、列标签或者列标签的列表。
- `axis`: 分组轴的方向，0 表示按行分组，1 表示按列分组，默认为 0。
- `level`: 分组时使用的层级，用于处理多层索引的 DataFrame。
- `as_index`: 是否将分组依据作为索引，如果为 True，则分组依据将成为 DataFrame 的索引。
- `sort`: 是否对分组结果进行排序，默认为 True。
- `group_keys`: 是否在结果中包含分组键，默认为 True。
- `squeeze`: 是否对结果进行压缩，如果分组后的结果只有一列，是否将其转换为 Series，默认为 False。
- `observed`: 是否包含所有的观测值，如果为 True，则只包含出现在分组键中的观测值，否则包含所有观测值。

下面是一个简单的例子，假设有一个 DataFrame 包含了几个班级学生的成绩信息：

import pandas as pd

df = pd.DataFrame({
    'class': ['A', 'A', 'B', 'B', 'B', 'C', 'C', 'C'],
    'name': ['Alice', 'Bob', 'Charlie', 'Dave', 'Eve', 'Frank', 'Grace', 'Henry'],
    'score': [80, 75, 90, 85, 80, 95, 90, 85]
})

可以按照班级进行分组，统计每个班级的平均成绩：

grouped = df.groupby('class')
result = grouped.mean()
print(result)

输出结果为：

           score
class           
A      77.500000
B      85.000000
C      90.000000

也可以按照多个列进行分组，例如按照班级和成绩进行分组：

grouped = df.groupby(['class', 'score'])
result = grouped.mean()
print(result)

输出结果为：

             name
class score      
A     75      Bob
      80    Alice
B     80      Eve
      85     Dave
      90  Charlie
C     85    Henry
      90    Grace
      95    Frank

在分组后，可以使用 `agg()` 函数对分组后的结果进行聚合操作，例如计算每个班级的总分：

result = grouped.agg({'score': 'sum'})
print(result)

输出结果为：

       score
class       
A        155
B        255
C        270

pyspark dataframe groupby

### 如何在 PySpark DataFrame 中使用 `groupby` 方法

在 PySpark 的 DataFrame API 中，`groupby` 是一种强大的聚合工具。通过该方法可以基于一个或多个列对数据集进行分组，并执行各种类型的聚合操作。

下面是一个简单的例子来展示如何使用 `groupby`：

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("GroupByExample").getOrCreate()

data = [("Alice", "Sales", 3000),
        ("Bob", "Sales", 4100),
        ("Carol", "HR", 3000),
        ("Dave", "Engineering", 7000)]

columns = ["name", "department", "salary"]

df = spark.createDataFrame(data, columns)

result_df = df.groupby("department").avg("salary")

result_df.show()

上述代码创建了一个包含员工姓名、部门以及薪水的数据框 `df` 。接着调用了 `groupby` 函数按照 “department” 列进行了分组，并计算了每个部门平均工资[^1]。

对于更复杂的场景，比如想要获取各部门最高薪资及其对应的雇员名字，则可以通过如下方式实现：

from pyspark.sql.functions import col, max as _max

max_salary_per_dept = (df.groupBy("department")
                       .agg(_max("salary").alias("max_salary"))
                       .join(df.select("name", "department", "salary"),
                             on=["department"],
                             how="inner")
                       .where(col("salary") == col("max_salary")))

max_salary_per_dept.show()

这段脚本首先构建了一个新的 DataFrame 来保存每部门的最大薪酬；之后再将其与原始表连接起来找到对应的名字并显示出来[^2]。