使用power pivot中的max函数按逗号拆分'表1'[人员]中的数据再用去重，最简单公式

时间: 2024-02-22 07:59:52 浏览: 118

MySQL数据表合并去重的简单实现方法

在MySQL数据库管理中，数据去重是一个常见的需求，特别是在数据导入、数据整合或者处理爬虫抓取的数据时。本文将详细介绍如何在MySQL中合并数据表并去除重复项，以提高数据质量。我们创建两个具有相同结构的表，例如`pep`和`pep2`。`pep`作为主表，`pep2`为待合并的表。表结构定义如下： ```sql CREATE TABLE IF NOT EXISTS `pep/pep2`( `id` INT UNSIGNED AUTO_INCREMENT, `no` VARCHAR(100) NOT NULL, PRIMARY KEY ( `id` ) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; ``` 接着，向`pep`表中插入两条数据，`pep2`表中插入一条与`pep`表中相同的数据： ```sql insert into pep(no) values('abc'); insert into pep(no) values('caa'); insert into pep2(no) values('abc'); ``` 为了将`pep2`的数据合并到`pep`中，我们可以直接使用`INSERT INTO ... SELECT`语句： ```sql insert into pep (no) select no from pep2; ``` 此时，`pep`表中可能存在重复的数据。为了去除重复项，我们可以创建一个新的临时表`tmp`，并使用`GROUP BY`语句来根据`no`字段进行分组，这样每个`no`值只会出现一次： ```sql create table tmp select id,no from pep group by no; ``` 但在此过程中，可能会遇到因`sql_mode`设置导致的错误，如下所示： ```sql Syntax error or access violation: 1055 Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'XXX.Y.ZZZZ' which is not functionally dependent on columns in GROUP BY clause; this is incompatible with sql_mode=only_full_group_by ``` 为了解决这个问题，我们需要调整`sql_mode`设置： ```sql mysql> set global sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION'; mysql> set session sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_DIVISION,BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION'; ``` 接下来，删除原始的`pep`表，并将`tmp`表重命名为`pep`： ```sql drop table pep; alter table tmp rename to pep; ``` 需要注意的是，由于临时表`tmp`的`id`字段已失去主键自增属性，因此需要重新设置为主键并恢复自增： ```sql alter table pep add primary key (id); alter table pep modify id int auto_increment; ``` 此外，还可以使用`JOIN`操作来合并并去重，或者在数据导入前就添加一个基于多个字段的MD5值字段，并创建唯一索引。这样，在插入数据时，系统会自动过滤掉重复的数据，提高数据导入效率。总结一下，MySQL中合并并去重数据表的方法主要有两种：一是使用`GROUP BY`创建临时表，二是利用`JOIN`操作。根据实际场景和数据量，可以选择合适的方法。在进行数据去重操作时，确保正确设置`sql_mode`以避免因模式限制引发的错误，同时注意恢复或维护好主键和自增属性，确保数据的完整性和一致性。通过这些技巧，可以有效地管理和优化数据库中的数据。

可以使用以下公式来实现您的需求： ``` =MAX(FILTERXML("<a><b>"&SUBSTITUTE([@人员],",","</b><b>")&"</b></a>","//b[not(.=preceding::b)]")) ``` 这个公式会先按逗号拆分'表1'[人员]中的数据，然后使用FILTERXML函数将其转换为XML格式。接着，使用MAX函数获取去重后的最大值。请注意，这个公式需要在Power Pivot中的计算列中使用，并将其应用于每一行。

阅读全文

使用power pivot中的max函数按逗号拆分'表1'[人员]中的数据再用去重，最简单公式

相关推荐

两种简单的数组去重方式推荐

使用power pivot中的max函数按逗号拆分'表1'[人员]中的数据再用去重

使用power pivot中的函数按逗号拆分'表1'[人员]中每行的文本数据再用去重，没有SPLIT函数

使用power pivot中的max函数按逗号拆分'表1'[人员]中每行的数据再用去重

使用power pivot中的max函数按逗号拆分'表1'[人员]中每行的文本数据再用去重

使用power pivot中的max函数先按逗号拆分'表1'[人员]中的数据再用去重最简洁公式

使用2019版的excel中的power pivot中的函数按逗号拆分'表1'[人员]中每行的文本数据再用去重

使用power pivot中的max函数先按逗号拆分'表1'[人员]中的数据再用去重

使用power pivot中的max函数先按逗号拆分'表1'[人员]中的数据再用VALUES去重

使用2019版的excel中的power pivot中的函数将'表1'[人员]使用逗号分隔的数据去重

power pivot中的函数将'表1'[人员]使用逗号分隔的数据去重，不使用XML标签格式

power pivot中的函数将'表1'[人员]使用逗号分隔的数据去重，不使用XML标签格式，有大量数据时候如何解决

power pivot公式去除某列中每一行中用逗号分隔的重复数据，使用最简洁的公式

power pivot公式去除某列中每一行中用逗号分隔的重复数据，使用最简洁的公式，并解释含义

Excel Power Pivot 视频课程 数据建模及DAX函数

Excel Power Pivot 视频教程 数据建模及DAX函数

全面掌握Excel Power Pivot与DAX函数高级应用

pandas里面pivot-table 函数如何进行去重计数

【中国房地产业协会-2024研报】2024年第三季度房地产开发企业信用状况报告.pdf

最新推荐

pandas实现excel中的数据透视表和Vlookup函数功能代码

【中国房地产业协会-2024研报】2024年第三季度房地产开发企业信用状况报告.pdf

【中国银行-2024研报】美国大选结果对我国芯片产业发展的影响和应对建议.pdf

JHU荣誉单变量微积分课程教案介绍

管理建模和仿真的文件

【实战篇：自定义损失函数】：构建独特损失函数解决特定问题，优化模型性能

如何在ZYNQMP平台上配置TUSB1210 USB接口芯片以实现Host模式，并确保与Linux内核的兼容性？

Naruto爱好者必备CLI测试应用

"互动学习：行动中的多样性与论文攻读经历"

【强化学习损失函数探索】：奖励函数与损失函数的深入联系及优化策略

Excel Power Pivot 视频课程数据建模及DAX函数

Excel Power Pivot 视频教程数据建模及DAX函数