mysql优化小技巧之去除重复项实现方法分析【百万级数据】_mysql百万数据去重,mysql百万数据去重 - CSDN文库

122 浏览量更新于2023-05-04 评论收藏 78KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

mysql优化小技巧之去除重复项实现方法分析【百万级数据】优化小技巧之去除重复项实现方法分析【百万级数据】

本文实例讲述了mysql优化小技巧之去除重复项实现方法。分享给大家供大家参考，具体如下：

说到这个去重，脑仁不禁得一疼，尤其是出具量比较大的时候。毕竟咱不是专业的DB，所以嘞，只能自己弄一下适合自己去重方法

了。

首先按照常规首段，使用having函数检查重复项，完事一个一个的删除。不要问我having检测重复项的sql咋写，你懂得哈。。。这

个在只有几条重复的时候还可以。要是几千上万条不同数据重复，那咋办。。。

完事呢，咱就考虑了，用having函数查询的时候，原始sql如下：

select `name`,count(*) as count from sentence group by `name` having count>1

大家可以运行感觉下，在五百万左右的数据时，那速度，麻油。。。

但是嘞，咱在不考虑优化它的运行速度的前提下，来考虑使用这个语句来使我们去除数组中的重复项。首先，我们要知道，我们删

除重复数据的时候需要使用的数据有哪些。id是肯定的，再来呢，筛选的条件是吧。所以嘞，上面的sql查询出来的数据，缺少了

啥，id。。。那我们加上这个字段查询下试试哈：

select id,`name`,count(*) as count from sentence group by `name` having count>1

结果呢，就会显示出来id，name，count这三个字段。具体效果大家可以自己运行看下。根据这些数据咱们就可以进行去除重复项的

操作了。

具体的sql设计就是删除id不是咱们查询出来的id，但是name值是咱们查询出来的值，因为咱们的数据不是一条，所以得经过程序处

理，把所有的id用逗号拼接起来，name值用引号和逗号处理下，完事就可以进行使用了，示例呢就在下方：

delete from sentence where id not in(1,2,3) and name in('a','b','c')

如果数据过多的话，咱们可以写成脚本，完事再进行分批次操作。嘿嘿，到了这里，咱们就可以进行去除重复项的操作了，但是这

个速度么，始终是个困扰。接下来咱们就要考虑如何来优化这个sql，让它的速度上去，就算是大功告成了。

既然是提升咱们sql的运行速度，按照常理来讲，首先应该想到的那就是索引。好呗，废话不多说，咱们先建立索引。但是给那个字

段建立所以呢？？？这又是个问题了。

这个原则上是在你name字段可以加以区分的字段上建立的。比如，我的name字段里面储存的是一条条的品牌名称，然后呢，我有

一个industry字段是来存储每个品牌的行业的，所以我就在我的industry字段上建立了索引。当然，还有更加合适的，这个就看大家

咋考虑了。废话不多说，咱直接来看看我们优化后的sql：

select id,`name`,count(*) as count from sentence where industry = '饮品' group by `name` having count>1

运行结果如下：

结果说明啥，说明咱们的索引有在使用哦。。。那速度，咱不说各位看官应该也了解。完事咱们就可以再用程序把所有的id用逗号拼

接起来，name值用引号和逗号处理下，完事就可以进行那个去除重复项的大业了。效率明显上升啊。。。

不过有的看官可能用的条件里面含有like等会使索引失效的条件，那咱们还可以，把数据简单分类，完事分别检测每个分类的数据，

全部查询出来后，可以使用程序来检查重复项，并且取出删除所需要的数据。

附：附：mysql rand查询优化查询优化&随机查询优化随机查询优化

说起这个随机查询，大家都知道使用rand（）函数，但是当数据量达到一定程度的时候，查询效率就可想而知了。所以呢？我们不

妨考虑下优化这个查询方案。

我的优化方式为，通过程序来随机，再配合limit来取值。咱们记录下大概思路哈。

首先查询出符合条件的数据条数，之后用PHP的rand函数来在这个数值范围内随机取值，之后直接查询就可以。

示例sql：

select count(*) from test where $where; （计算所需要的数据的总条数）

$offset = rand(0,$count)

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余1页未读，立即下载

评论0

weixin_38621624

粉丝: 3
资源: 900

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈