mysql优化小技巧之去除重复项实现方法分析【百万级数据】优化小技巧之去除重复项实现方法分析【百万级数据】
本文实例讲述了mysql优化小技巧之去除重复项实现方法。分享给大家供大家参考，具体如下：
说到这个去重，脑仁不禁得一疼，尤其是出具量比较大的时候。毕竟咱不是专业的DB，所以嘞，只能自己弄一下适合自己去重方法
了。
首先按照常规首段，使用having函数检查重复项，完事一个一个的删除。不要问我having检测重复项的sql咋写，你懂得哈。。。这
个在只有几条重复的时候还可以。要是几千上万条不同数据重复，那咋办。。。
完事呢，咱就考虑了，用having函数查询的时候，原始sql如下：
select `name`,count(*) as count from sentence group by `name` having count>1
大家可以运行感觉下，在五百万左右的数据时，那速度，麻油。。。
但是嘞，咱在不考虑优化它的运行速度的前提下，来考虑使用这个语句来使我们去除数组中的重复项。首先，我们要知道，我们删
除重复数据的时候需要使用的数据有哪些。id是肯定的，再来呢，筛选的条件是吧。所以嘞，上面的sql查询出来的数据，缺少了
啥，id。。。那我们加上这个字段查询下试试哈：
select id,`name`,count(*) as count from sentence group by `name` having count>1
结果呢，就会显示出来id，name，count这三个字段。具体效果大家可以自己运行看下。根据这些数据咱们就可以进行去除重复项的
操作了。
具体的sql设计就是删除id不是咱们查询出来的id，但是name值是咱们查询出来的值，因为咱们的数据不是一条，所以得经过程序处
理，把所有的id用逗号拼接起来，name值用引号和逗号处理下，完事就可以进行使用了，示例呢就在下方：
delete from sentence where id not in(1,2,3) and name in('a','b','c')
如果数据过多的话，咱们可以写成脚本，完事再进行分批次操作。嘿嘿，到了这里，咱们就可以进行去除重复项的操作了，但是这
个速度么，始终是个困扰。接下来咱们就要考虑如何来优化这个sql，让它的速度上去，就算是大功告成了。
既然是提升咱们sql的运行速度，按照常理来讲，首先应该想到的那就是索引。好呗，废话不多说，咱们先建立索引。但是给那个字
段建立所以呢？？？这又是个问题了。
这个原则上是在你name字段可以加以区分的字段上建立的。比如，我的name字段里面储存的是一条条的品牌名称，然后呢，我有
一个industry字段是来存储每个品牌的行业的，所以我就在我的industry字段上建立了索引。当然，还有更加合适的，这个就看大家
咋考虑了。废话不多说，咱直接来看看我们优化后的sql：
select id,`name`,count(*) as count from sentence where industry = '饮品' group by `name` having count>1
运行结果如下：
结果说明啥，说明咱们的索引有在使用哦。。。那速度，咱不说各位看官应该也了解。完事咱们就可以再用程序把所有的id用逗号拼
接起来，name值用引号和逗号处理下，完事就可以进行那个去除重复项的大业了。效率明显上升啊。。。
不过有的看官可能用的条件里面含有like等会使索引失效的条件，那咱们还可以，把数据简单分类，完事分别检测每个分类的数据，
全部查询出来后，可以使用程序来检查重复项，并且取出删除所需要的数据。
附：附：mysql rand查询优化查询优化&随机查询优化随机查询优化
说起这个随机查询，大家都知道使用rand（）函数，但是当数据量达到一定程度的时候，查询效率就可想而知了。所以呢？我们不
妨考虑下优化这个查询方案。
我的优化方式为，通过程序来随机，再配合limit来取值。咱们记录下大概思路哈。
首先查询出符合条件的数据条数，之后用PHP的rand函数来在这个数值范围内随机取值，之后直接查询就可以。
示例sql：
select count(*) from test where $where; （计算所需要的数据的总条数）
$offset = rand(0,$count)
评论0