MySQL去重基础：DISTINCT和GROUP BY详解，揭秘去重原理

# 1. MySQL去重概述

MySQL去重是指从数据集中删除重复的行或值，以获得唯一且干净的数据。它在数据分析、数据清理和数据建模等场景中至关重要。MySQL提供了多种去重方法，包括DISTINCT、GROUP BY和窗口函数，每种方法都有其独特的原理和应用场景。

# 2. DISTINCT去重原理与应用

### 2.1 DISTINCT去重原理

DISTINCT是SQL中用于去除重复数据的关键字。其工作原理是通过比较表中每一行的值，如果发现有重复值，则只保留第一个值，而丢弃其他重复值。

DISTINCT的具体去重过程如下：

1. **扫描表：**从表中读取每一行数据。
2. **比较值：**将当前行的数据与已经读取过的所有行的数据进行比较。
3. **保留唯一值：**如果当前行的数据与任何已读取过的行的数据都不相同，则保留当前行的数据。
4. **丢弃重复值：**如果当前行的数据与已读取过的某一行的数据相同，则丢弃当前行的数据。

### 2.2 DISTINCT去重应用场景

DISTINCT去重在实际应用中非常广泛，以下是一些常见的应用场景：

- **获取唯一值：**从表中获取所有唯一值，例如获取所有不同的客户姓名或产品名称。
- **消除重复数据：**从表中删除重复数据，例如删除重复的订单记录或客户记录。
- **聚合数据：**在使用聚合函数（如SUM、COUNT）时，DISTINCT可以确保只对唯一值进行聚合，从而得到准确的结果。

#### 示例

以下是一个使用DISTINCT获取唯一客户姓名的示例：

SELECT DISTINCT customer_name
FROM customers;

该查询将返回一个包含所有唯一客户姓名的结果集。

#### 代码逻辑分析

该代码块使用DISTINCT关键字从customers表中获取所有唯一customer_name值。DISTINCT关键字确保只返回每个customer_name值一次，从而消除重复值。

#### 参数说明

| 参数 | 说明 |
|---|---|
| customer_name | 客户姓名 |

# 3. GROUP BY去重原理与应用

### 3.1 GROUP BY去重原理

GROUP BY是一个聚合函数，用于将一组数据按指定列进行分组，并对每个组进行聚合计算。当使用GROUP BY进行去重时，它会将具有相同分组键值的行分组在一起，并只保留每组中的第一行。

GROUP BY去重的原理如下：

1. 将数据集按指定的列分组。
2. 对每个组执行聚合操作，例如COUNT(*)。
3. 只保留每个组中聚合结果不为0的行。

### 3.2 GROUP BY去重应用场景

GROUP BY去重可以应用于以下场景：

- **去除重复记录：**从表中去除具有相同值的所有重复记录。
- **统计分组记录数：**统计表中按指定列分组后的记录数。
- **计算分组聚合值：**对按指定列分组后的数据进行聚合计算，例如求和、求平均值等。

**示例：**

SELECT COUNT(*) AS record_count
FROM table_name
GROUP BY column_name;

该查询会统计`table_name`表中按`column_name`列分组后的记录数。

**代码逻辑逐行解读：**

- `SELECT COUNT(*) AS record_count`: 统计每组记录数，并将其命名为`record_count`。
- `FROM table_name`: 从`table_name`表中查询数据。
- `GROUP BY column_name`: 按`column_name`列分组。

**参数说明：**

- `column_name`: 指定用于分组的列。

**扩展性说明：**

GROUP BY去重还可以与其他聚合函数结合使用，例如SUM()、AVG()等，以实现更复杂的去重和聚合操作。

# 4. DISTINCT与GROUP BY的异同

### 4.1 DISTINCT与GROUP BY的相同点

- **去重原理：**DISTINCT和GROUP BY都基于集合运算原理，通过消除重复值来实现去重。
- **应用场景：**DISTINCT和GROUP BY都可以用于去除表中重复的数据行，从而得到唯一的数据集。
- **语法支持：**DISTINCT和GROUP BY都支持在SELECT语句中使用，用于指定需要去重的列。

### 4.2 DISTINCT与GROUP BY的不同点

| 特征 | DISTINCT | GROUP BY |
|---|---|---|
| **去重粒度：** | 按列去重 | 按组去重 |
| **结果集：** | 返回不重复的单个值 | 返回分组后的结果集，其中每一组只保留一行的值 |
| **分组：** | 不支持分组 | 支持分组 |
| **聚合函数：** | 不支持聚合函数 | 支持聚合函数，如COUNT()、SUM()、AVG()等 |
| **性能：** | 通常比GROUP BY快 | 通常比DISTINCT慢 |
| **索引利用：** | 可以利用索引加速去重 | 索引利用受分组列和聚合函数的影响 |

#### 4.2.1 去重粒度

DISTINCT按列去重，即只去除指定列中的重复值。例如：

SELECT DISTINCT name FROM users;

该查询将返回所有用户中不重复的name值。

GROUP BY按组去重，即根据指定的列分组，然后只保留每一组中的一行。例如：

SELECT city, COUNT(*) AS user_count
FROM users
GROUP BY city;

该查询将根据city列分组，并统计每个城市的用户数量。

#### 4.2.2 结果集

DISTINCT返回不重复的单个值，而GROUP BY返回分组后的结果集。例如，对于以下表：

| id | name | city |
|---|---|---|
| 1 | John | New York |
| 2 | Mary | New York |
| 3 | Bob | Boston |
| 4 | Alice | Boston |

DISTINCT查询：

SELECT DISTINCT city FROM users;

将返回：

New York
Boston

GROUP BY查询：

SELECT city, COUNT(*) AS user_count
FROM users
GROUP BY city;

将返回：

| city | user_count |
|---|---|
| New York | 2 |
| Boston | 2 |

#### 4.2.3 分组和聚合函数

DISTINCT不支持分组，而GROUP BY支持分组和聚合函数。GROUP BY可以根据指定的列分组，并使用聚合函数对每一组的数据进行计算。例如：

SELECT city, COUNT(*) AS user_count
FROM users
GROUP BY city;

该查询将根据city列分组，并统计每个城市的用户数量。

#### 4.2.4 性能

DISTINCT通常比GROUP BY快，因为DISTINCT只涉及到列的比较，而GROUP BY需要对数据进行分组和聚合，这需要额外的计算开销。

#### 4.2.5 索引利用

DISTINCT和GROUP BY都可以利用索引加速去重。DISTINCT可以利用列上的唯一索引或主键索引，而GROUP BY可以利用分组列上的索引。

# 5. MySQL去重进阶应用

本章节将介绍MySQL中去重的进阶应用，包括使用子查询和窗口函数去重。

### 5.1 使用子查询去重

子查询是一种嵌套查询，它将一个查询的结果集作为另一个查询的输入。可以使用子查询来实现去重，方法是在外层查询中使用 `NOT IN` 或 `NOT EXISTS` 子查询来过滤重复的行。

**示例：**

SELECT *
FROM table_name
WHERE id NOT IN (
    SELECT id
    FROM table_name
    GROUP BY name
);

该查询将返回 `table_name` 表中所有不属于任何重复组的行。`GROUP BY name` 子查询返回每个组中唯一行的 `id`，而外层查询使用 `NOT IN` 过滤掉这些重复的 `id`。

### 5.2 使用窗口函数去重

窗口函数是一种在行范围内操作数据的函数。可以使用窗口函数 `ROW_NUMBER()` 来实现去重，该函数返回每一行在当前窗口中的行号。

**示例：**

SELECT *
FROM (
    SELECT *, ROW_NUMBER() OVER (PARTITION BY name ORDER BY id) AS row_num
    FROM table_name
) AS subquery
WHERE row_num = 1;

该查询将返回 `table_name` 表中每个组中第一行的所有列。`PARTITION BY name` 子句将数据划分为不同的组，而 `ORDER BY id` 子句指定了组内的排序顺序。`ROW_NUMBER()` 函数返回每一行在当前组中的行号，而外层查询使用 `WHERE row_num = 1` 过滤掉重复行。

# 6.1 索引优化

索引是 MySQL 中用来提高查询性能的重要技术。在去重操作中，适当的索引可以显著提升查询效率。

**创建唯一索引**

对于需要进行精确去重的表，可以考虑创建唯一索引。唯一索引保证表中每一行数据的唯一性，从而避免了重复数据的插入。在进行去重查询时，使用唯一索引可以快速定位到唯一的数据，从而提高查询速度。

CREATE UNIQUE INDEX idx_unique ON table_name (column_name);

**创建覆盖索引**

覆盖索引包含了查询中所需的所有列，这样 MySQL 可以直接从索引中获取数据，而无需访问表数据。在去重查询中，如果查询中包含了去重列和分组列，则可以考虑创建覆盖索引。

CREATE INDEX idx_covering ON table_name (column_name1, column_name2);

**使用组合索引**

组合索引包含了多个列，可以提高对多个列进行查询的效率。在去重查询中，如果查询中包含了多个去重列，则可以考虑创建组合索引。

CREATE INDEX idx_composite ON table_name (column_name1, column_name2, column_name3);

**避免使用索引**

在某些情况下，使用索引反而会降低查询性能。例如，当去重列的值非常分散时，使用索引可能会导致大量的索引查找，从而降低查询效率。在这种情况下，可以考虑不使用索引。