SQL去重：单字段与多字段重复记录查询与删除策略

在处理SQL数据库中的重复记录查询时，我们通常会遇到各种情况，根据提供的示例，我们将探讨五种不同的方法来找出和处理重复数据。这些方法主要集中在基于单个字段（如`peopleId`）或多个字段（如`peopleId`和`seq`）的重复记录检测和删除。 1. 单字段重复记录查询: 使用子查询的方式，首先找出`people`表中`peopleId`值重复的行： ``` SELECT * FROM people WHERE peopleId IN (SELECT peopleId FROM people GROUP BY peopleId HAVING COUNT(peopleId) > 1) ``` 这将返回所有具有相同`peopleId`但不唯一的数据行。 2. 单字段重复记录删除: 删除重复的`people`表记录时，保留每个`peopleId`下的第一个（最小`rowid`）记录： ``` DELETE FROM people WHERE peopleId IN (SELECT peopleId FROM people GROUP BY peopleId HAVING COUNT(peopleId) > 1) AND rowid NOT IN (SELECT min(rowid) FROM people GROUP BY peopleId HAVING COUNT(peopleId) > 1) ``` 这确保了仅保留一个实例。 3. 多字段重复记录查询: 对于`vitaea`表，如果`peopleId`和`seq`组合出现多次，则筛选出重复数据： ``` SELECT * FROM vitaea WHERE (a.peopleId, a.seq) IN (SELECT peopleId, seq FROM vitaegroup BY peopleId, seq HAVING COUNT(*) > 1) ``` 这显示了那些在`peopleId`和`seq`两个字段上具有重复值的行。 4. 多字段重复记录删除: 删除`vitaea`表中基于`peopleId`和`seq`的重复记录，但保留第一次出现的记录： ``` DELETE FROM vitaea WHERE (a.peopleId, a.seq) IN (SELECT peopleId, seq FROM vitaegroup BY peopleId, seq HAVING COUNT(*) > 1) AND rowid NOT IN (SELECT min(rowid) FROM vitaegroup BY peopleId, seq HAVING COUNT(*) > 1) ``` 同样，这里也通过`rowid`来决定保留哪一行。 5. 多字段重复记录查询（排除最小`rowid`）: 与第四个示例类似，但不包括具有最小`rowid`的重复记录： ``` SELECT * FROM vitaea WHERE (a.peopleId, a.seq) IN (SELECT peopleId, seq FROM vitaegroup BY peopleId, seq HAVING COUNT(*) > 1) AND rowid NOT IN (SELECT min(rowid) FROM vitaegroup BY peopleId, seq HAVING COUNT(*) > 1) ``` 这将展示那些不是首次出现的记录，但不删除它们。 这些SQL查询技巧在数据库维护和数据分析中非常实用，能帮助用户识别并管理重复数据，提高数据质量，同时遵循事务一致性原则。根据具体需求，可以选择合适的查询方法来操作表中的数据。