用sql写一个删除重复数据的脚本

假设我们有一个名为table_name的表，其中有重复的数据，我们可以使用以下SQL语句来删除重复的数据：

DELETE FROM table_name 
WHERE id NOT IN (
  SELECT MIN(id) 
  FROM table_name 
  GROUP BY column1, column2, column3 -- 根据需要指定去重的列
);

其中，id是表的主键，column1、column2、column3是需要去重的列，通过GROUP BY指定。这条SQL语句会保留每组重复数据中的第一条数据，其余数据将被删除。

相关问题

sql 查找重复数据

### SQL中查找重复记录的方法

在SQL中查找重复记录是一项重要的技能，有助于保持数据库的整洁和高效。以下是几种常用的技术：

#### 使用`GROUP BY` 和 `HAVING`

通过组合使用`GROUP BY`子句与`HAVING`条件，能够有效地定位那些拥有超过一条记录的字段值。

SELECT email, COUNT(*)
FROM users
GROUP BY email
HAVING COUNT(*) > 1;

此查询会返回所有出现次数大于一次的电子邮件地址及其对应的计数[^3]。

#### 利用窗口函数如`ROW_NUMBER()`

对于更复杂的场景，比如想要保留最新的记录而移除其余重复项，则可以采用窗口函数`ROW_NUMBER()`来实现这一目标。这种方法允许基于某些标准（例如时间戳）给每组内的行编号，并只选取特定编号的行作为最终结果集的一部分。

WITH CTE AS (
    SELECT *,
           ROW_NUMBER() OVER (PARTITION BY email ORDER BY created_at DESC) rn
    FROM users
)
DELETE FROM CTE WHERE rn > 1;

上述代码片段展示了怎样利用公共表表达式(CTE)，配合`ROW_NUMBER()`去除除了最近创建之外的所有重复email条目[^5]。

#### 应用自连接(self join)

当面对多列组合可能存在的冗余情况时，还可以尝试构建自连接的方式来进行检测。这涉及到让同一张表格的不同实例相互参照比较不同行之间的关系。

SELECT u1.*
FROM users u1
JOIN users u2 ON u1.email = u2.email AND u1.id != u2.id;

这段脚本将揭示任何一对具有相同邮件但ID不同的用户记录对[^4]。

写一段sql，对表crjjl中完全重复的数据进行去重

要删除表`crjjl`中所有字段值都相同的重复记录，可以采用如下方法：创建一个临时表来插入具有唯一行数据的信息，然后用这个临时表替换原表。以下是实现该操作的一系列SQL语句：

-- 创建一个新的临时表，保留唯一的记录
CREATE TABLE `temp_crjjl` (
    SELECT *
    FROM (
        -- 使用子查询选择每列，并使用GROUP BY去除重复项
        SELECT `姓名`, `性别中文`, `出生日期`, `国家地区名称`, `证件类别名称`, `证件号码`, 
               `签证类型名称`, `签证号码`, `停留期`, `出入标识`, `出入时间（详细）`, `出入口岸名称`,
               `交通方式`, `交通工具`, `前往地/出发地名称`, `出入境事由名称`, `内部团号`, `旅行团号`,
               `疑难字说明`, `第二证件号码`, `第二证件类型名称`
        FROM `crjjl`
    ) sub
    GROUP BY `姓名`, `性别中文`, `出生日期`, `国家地区名称`, `证件类别名称`, `证件号码`, 
             `签证类型名称`, `签证号码`, `停留期`, `出入标识`, `出入时间（详细）`, `出入口岸名称`,
             `交通方式`, `交通工具`, `前往地/出发地名称`, `出入境事由名称`, `内部团号`, `旅行团号`,
             `疑难字说明`, `第二证件号码`, `第二证件类型名称`
);

-- 删除原有的crjjl表
DROP TABLE `crjjl`;

-- 将临时表重命名为原始表的名字
RENAME TABLE `temp_crjjl` TO `crjjl`;

请注意，在执行上述操作之前，请确保备份重要数据或在测试环境中先行验证此脚本的效果。此外还需检查是否有外键约束会影响到这些操作。如果存在外键关系，则可能需要暂时禁用它们或者一起处理相关联的对象。