数据库面试笔试题：高效查找与删除重复数据方法

在IT面试笔试中，数据库部分经常会涉及到数据清洗和去重的问题。本文档《IT面试笔试题全集_史上最全_数据库篇_Rain系列》提供了两种处理数据库中重复数据的方法。 首先，介绍的是使用SQL Group By语句进行查找和删除重复数据。这种方法适用于数据量较小的情况。例如，在`student`表中，可以执行以下查询来找出`num`列中有重复值的记录，并统计每组重复的数量： ```sql SELECT COUNT(num), MAX(name) FROM student GROUP BY num HAVING COUNT(num) > 1; ``` 这个查询将返回每个`num`值及其对应的`name`，只有那些出现次数超过一次的`num`值才会被显示。接着，可以谨慎地删除这些重复的记录： ```sql DELETE FROM student WHERE num IN (SELECT num FROM ( SELECT num, COUNT(*) as count FROM student GROUP BY num HAVING COUNT(*) > 1 ) AS duplicate_counts); ``` 然而，对于大型表（比如超过10万条记录），使用这种方法可能会非常低效，因为每次查询都需要扫描整个表。在这种情况下，文档提供了一种更高效的方法，针对特定的表`EM5_PIPE_PREFAB`： ```sql SELECT * FROM EM5_PIPE_PREFAB WHERE ROWID != (SELECT MAX(ROWID) FROM EM5_PIPE_PREFAB WHERE DRAWING = D.DRAWING AND DSNO = D.DSNO); ``` 这个查询通过比较每个记录的ROWID与同一`DRAWING`和`DSNO`组合下的最大ROWID，找出不是最大行的重复记录。接着，可以安全地删除这些重复记录： ```sql DELETE FROM EM5_PIPE_PREFAB WHERE ROWID != (SELECT MAX(ROWID) FROM EM5_PIPE_PREFAB WHERE DRAWING = D.DRAWING AND DSNO = D.DSNO); ``` 这种方法利用了ROWID的特性，通常它是一个自增字段，这样可以避免对整个表进行全表扫描，从而提高了效率。 总结来说，文档提供了解决数据库重复数据问题的两种策略：一种是利用Group By进行快速查找并删除，适用于小规模数据；另一种是针对大规模数据，通过ROWID优化查找和删除重复记录，以提高性能。面试者应该熟悉这两种方法，并根据实际场景选择合适的解决方案。