SQL查询与去重技巧：发现、筛选与删除重复记录

在SQL查询中，处理重复数据是一项常见的任务，特别是在数据分析和数据库管理中。本文档提供了一些实用的方法来查找、过滤和处理数据库中的重复记录。以下是介绍的关键知识点： 1. 查找重复标题记录: - 使用子查询来检测一个字段（如"Title"）是否出现超过一次，可以通过以下SQL语句实现： ``` SELECT * FROM t_infoa WHERE (SELECT COUNT(*) FROM t_info WHERE Title = a.Title) > 1 ORDER BY Title DESC; ``` 这段代码会返回所有标题出现多次的记录，并按照标题降序排列。 2. 查找和过滤重复记录: - 查找所有重复记录：通过`GROUP BY`和`HAVING`子句筛选出具有多个实例的字段。 ``` SELECT * From 表 WHERE 重复字段 IN (SELECT 重复字段 FROM 表 GROUP BY 重复字段 HAVING COUNT(*) > 1); ``` - 过滤重复记录并仅显示一条：通过取每个组的最大ID，只显示不重复的记录。 ``` SELECT * From HZT WHERE ID IN (SELECT MAX(ID) FROM HZT GROUP BY Title); ``` 3. 删除重复记录: - 删除全部重复记录（需谨慎操作）： ``` DELETE FROM 表 WHERE 重复字段 IN (SELECT 重复字段 FROM 表 GROUP BY 重复字段 HAVING COUNT(*) > 1); ``` - 保留一条重复记录，通常是ID最大的那一条： ``` DELETE FROM HZT WHERE ID NOT IN (SELECT MAX(ID) FROM HZT GROUP BY Title); ``` 4. 处理基于单个字段和多个字段的重复记录: - 基于单个字段（如`peopleId`）的重复记录： - 查找所有重复： ``` SELECT * FROM people WHERE peopleId IN (SELECT peopleId FROM people GROUP BY peopleId HAVING COUNT(peopleId) > 1); ``` - 删除重复并保留最小`rowid`： ``` DELETE FROM people WHERE peopleId IN (SELECT peopleId FROM people GROUP BY peopleId HAVING COUNT(peopleId) > 1) AND rowid NOT IN (SELECT MIN(rowid) FROM people GROUP BY peopleId HAVING COUNT(peopleId) > 1); ``` - 处理多个字段（如`peopleId`和`seq`）的重复记录： ``` SELECT * FROM vitae WHERE (a.peopleId, a.seq) IN (SELECT peopleId, seq FROM vitae GROUP BY peopleId, seq HAVING COUNT(*) > 1); ``` 这些方法可以帮助数据库管理员有效地识别和管理重复数据，确保数据的准确性和一致性。但请注意，在执行删除操作前，最好先备份数据，以防意外数据丢失。