将MySQL去重操作优化到极致的操作方法_mysqlsum去重,mysqlsum去重

mysql

update语句

147 浏览量更新于2023-03-03 评论收藏 128KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

将将MySQL去重操作优化到极致的操作方法去重操作优化到极致的操作方法

•问题提出

源表t_source结构如下：

item_id int,

created_time datetime,

modified_time datetime,

item_name varchar(20),

other varchar(20)

要求：

1.源表中有100万条数据，其中有50万created_time和item_name重复。

2.要把去重后的50万数据写入到目标表。

3.重复created_time和item_name的多条数据，可以保留任意一条，不做规则限制。

•实验环境

Linux虚机：CentOS release 6.4；8G物理内存（MySQL配置4G）；100G机械硬盘；双物理CPU双核，共四个处理器；

MySQL 8.0.16。

•建立测试表和数据

-- 建立源表

create table t_source

( item_id int,

created_time datetime,

modified_time datetime,

item_name varchar(20),

other varchar(20)

);

-- 建立目标表

create table t_target like t_source;

-- 生成100万测试数据，其中有50万created_time和item_name重复

delimiter //

create procedure sp_generate_data()

begin

set @i := 1;

while @i<=500000 do

set @created_time := date_add('2017-01-01',interval @i second);

set @modified_time := @created_time;

set @item_name := concat('a',@i);

insert into t_source

values (@i,@created_time,@modified_time,@item_name,'other');

set @i:=@i+1;

end while;

commit;

set @last_insert_id := 500000;

insert into t_source

select item_id + @last_insert_id,

created_time,

date_add(modified_time,interval @last_insert_id second),

item_name,

'other'

from t_source;

commit;

end

delimiter ;

call sp_generate_data();

-- 源表没有主键或唯一性约束，有可能存在两条完全一样的数据，所以再插入一条记录模拟这种情况。

insert into t_source select * from t_source where item_id=1;

源表中有1000001条记录，去重后的目标表应该有500000条记录。

mysql> select count(*),count(distinct created_time,item_name) from t_source;

+----------+----------------------------------------+

| count(*) | count(distinct created_time,item_name) |

+----------+----------------------------------------+

| 1000001 | 500000 |

+----------+----------------------------------------+

1 row in set (1.92 sec)

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余9页未读，立即下载

weixin_38516956

粉丝: 6
资源: 973

会员权益专享

将MySQL去重操作优化到极致的操作方法

评论0

会员权益专享

最新资源

将MySQL去重操作优化到极致的操作方法

评论0

sumif的用法

MYSQL中有关SUM字段按条件统计使用IF函数(case)问题

一条sql语句完成MySQL去重留一

mysql去重查询方法

mysql 去重 百万数据

mysql去重的三种方法

mysql去重后统计数量

mysql去重计数的方法

mysql 去重后截取

python mysql去重

mysql去重查询语句

5.8mysql去重

mysql去重distinct的缺点

mysql去重➕统计

mysql 去重

mysql 去重空格函数

mysql去重

python 操作 mysql数据库去重

mysql 去重后保留数据

mysql 去重他的编号 然后计算去重后的重量

会员权益专享

最新资源

mysql 去重百万数据

mysql 去重他的编号然后计算去重后的重量