MySQL数据表合并去重的简单实现方法数据表合并去重的简单实现方法
场景：场景：
爬取的数据生成数据表，结构与另一个主表相同，需要进行合并+去重
解决：（直接举例）解决：（直接举例）
首先创建两个表pep，pep2，其中pep是主表
CREATE TABLE IF NOT EXISTS `pep/pep2`(
`id` INT UNSIGNED AUTO_INCREMENT,
`no` VARCHAR(100) NOT NULL,
PRIMARY KEY ( `id` )
)ENGINE=InnoDB DEFAULT CHARSET=utf8;
然后向pep中插入两条数据，pep2中插入一条与pep中相同的一条数据
insert into pep(no) values('abc');
insert into pep(no) values('caa');
insert into pep2(no) values('abc');
将pep2的数据插入pep中
insert into pep (no) select no from pep2;
分组去重创建新的临时表tmp
create table tmp select id,no from pep group by no;
注意：注意：创建完这个表的id字段类型已经不是主键自增
可能也会报错
```Syntax error or access violation: 1055 Expression #1 of SELECT
list is not in GROUP BY clause and contains nonaggregated
column 'XXX.Y.ZZZZ' which is not functionally dependent on
columns in GROUP BY clause; this is incompatible with
sql_mode=only_full_group_by
```
解决：执行以下两个命令：
```
mysql> set global sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';
mysql> set session
sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';
```
删除pep表，并将tmp表重命名为pep
drop table pep;
alter table tmp rename to pep;
查看desc结构和select * from pep发现id的字段类型变了，这里需要改回原来的类型；
alter table pep add primary key (id);
alter table pep modify id int auto_increment;
还有可以使用join来做去重，更快的还可以添加一个字段（可以是几个字段+起来的的md5值），给这个字段创建一个唯一索引unique，以后插入数据的时候，自动回过滤掉重复的数
据。
总结总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对软件开发网的支持。
您可能感兴趣的文章您可能感兴趣的文章:解析mysql中:单表distinct、多表group by查询去除重复记录mysql SELECT语句去除某个字段的重复信息MySQL 去除重复数据实例详解一条sql语句完成
MySQL去重留一MySQL去重的方法整理mysql 开发技巧之JOIN 更新和数据查重/去重Mysql删除重复的数据 Mysql数据去重复mysql去重的两种方法详解及实例代码将MySQL去重操
作优化到极致的操作方法mysql自联去重的一些笔记记录mysql优化小技巧之去除重复项实现方法分析【百万级数据】
评论0