power bi 中DISTINCT

时间: 2024-08-16 07:02:48 浏览: 120

power center ETL工具中文教程

4星 · 用户满意度95%

### PowerCenter ETL工具知识点详解 #### 一、PowerCenter ETL工具简介 PowerCenter是一款由Informatica公司开发的企业级ETL（Extract, Transform, Load）工具，它可以帮助企业高效地进行数据集成工作。PowerCenter提供了强大的数据抽取、转换及加载功能，并且支持多种数据源与目标系统之间的数据迁移。 #### 二、核心组件与功能 ##### 2.1 Source Qualifier（数据源编辑器） - **功能说明**： - 连接相同来源的数据集。 - 过滤源数据。 - 指定连接条件（例如等连、非等连、like等）和类型（内连、外连等）。 - 指定排序字段以优化性能（尤其在Mapping中使用Aggregator或Joiner时）。 - 实现去重（Distinct）功能。 - 覆盖（Override）SELECT语句。 - **数据类型转换**： - Source Qualifier负责将数据库中的数据类型转换为PowerCenter支持的数据类型。 - **目标装载顺序**： - 当Mapping中有多个Source Qualifier连接到多个Target时，可通过Target Load Order来定义装载顺序。 - **使用参数或变量**： - 在Source Qualifier中可以使用参数或变量来传入SQL语句。 - **属性覆盖**： - 多数属性可以在Session属性中被覆盖，如Join、Filter、Sorted Ports等。 - **SQL查询优先级**： - SQL Query具有最高优先级，如果存在SQL Query，则会根据其结果生成相应的端口，同时确保SQL Query中Select的字段数量与端口数量一致。 - 如果需要从多个schema读取数据，可以通过SQL Query的PreSQL和PostSQL来实现。 ##### 2.2 Update Strategy（更新策略） - **Mapping中的Update Strategy**： - 用于标识数据行的行为，如Insert、Update、Delete或Reject。 - **Session中的配置**： - 设置如何处理源行（Treat source row as属性），可选择Insert、Update、Delete或Data driven。 - 配置Target属性，如Insert、Update[asUpdate]、[asInsert]、[else Insert]、Delete或Truncate Target Table选项。 - **Update Strategy Expression**： - 可以输入常量或数字值来指定每行的更新策略，支持IIF或DECODE函数构建逻辑表达式。 - **处理被拒绝的行**： - 勾选Forward Rejected Rows时，被拒绝的行将保存到对应的Reject文件中；若未勾选，则可能写入Session Log中，具体取决于当前Transformation的Tracing Level设置。 ##### 2.3 Expression Transformation（表达式转换） - **功能**： - 执行单行计算，可以在表达式中使用输入端口、输入/输出端口、函数、非连接的Lookup以及变量端口。 - **数据来源限制**： - 数据来源只能来自单一的Transformation。 ##### 2.4 Lookup Transformation（查找转换） - **功能**： - 根据输入值从数据库或平面文件中查找数据。 - **分类**： - 连接型：可以传输多个返回值给其他Transformation。 - 非连接型：只有一个返回端口，在表达式中使用Lookup函数(:LKP())调用。 - **特点**： - 连接型可以利用默认值，非连接型在无匹配记录时返回空。 - **CACHE配置**： - Lookup可以配置使用CACHE，对于平面文件这是必需的。Informatica Server会在条件列上建立索引CACHE，在其他列上建立数据CACHE。 - CACHE文件可以是临时的，也可以是永久的。 - **动态Lookup**： - 当Lookup配置为动态时，对应的表被视为Target。如果输入行连接列在CACHE中找不到匹配记录，则在CACHE中插入新行；如果找到则更新CACHE或保持不变，这取决于比较列是否匹配，并通过标志列NewLookupRow赋值0（未更改）、1（插入）或2（更新）。 #### 三、总结通过对PowerCenter ETL工具的核心组件——Source Qualifier、Update Strategy、Expression Transformation以及Lookup Transformation的详细介绍，我们可以了解到这些组件各自的特点及其在数据集成过程中的重要作用。熟练掌握这些组件的功能与使用方法，能够帮助企业更高效地完成数据处理任务。

在Power BI中，DISTINCT是一个过滤功能，主要用于数据透视表或查询编辑器中的列筛选，它会删除或只保留每个值的唯一实例，以便于分析。当你应用DISTINCT到一列数据上时，Power BI将显示该列中不重复的（唯一的）值，这对于查找和汇总独特项目或者去除重复记录非常有用。举个例子，如果你有一个销售团队成员及其销售额的数据集，使用DISTINCT可以帮助你找出每个成员的独特销售额，而不是重复计数每个人的总销售额。这有助于更清晰地了解每个团队成员的表现。

阅读全文

power bi 中DISTINCT

相关推荐

Oracle中rownum与distinct的使用陷阱解析

Count-Distinct算法详解：数据流中唯一元素计数

powerBi distinct

powerbi distinct

Power BI中的数据清洗和转换技巧

powerbi中去重计数

powerbi中的filter和filters

power bi中有什么表函数

power bi calculate

POWER BI里累计求和.docx

孙兴华讲PowerBI之DAX原理《DAX神功》PDF和OneNote讲义

使用Power BI构建动态参数化报表

利用Power BI进行数据驱动的决策分析

Power BI与常见数据库系统的集成和优化

powerbi函数大全

power bi 留存率

power bi去重求和

power bi如何求非重复数

度量值 = CALCULATE(DISTINCTCOUNT('最终拆分'[ACCOUNT]),FILTER('最终拆分','最终拆分'[工单状态] is '已关怀')这个powerbi度量值哪里错了

最新推荐

Origin教程009所需练习数据

大模型的稀疏激活方法及其高效推理应用研究：基于dReLU激活函数

STM32F103+PWM+DMA精准控制输出脉冲的数量和频率 源程序

白色大气风格的商务团队公司模板下载.zip

2023-04-06-项目笔记 - 第三百五十八阶段 - 4.4.2.356全局变量的作用域-356 -2025.12.25

RStudio中集成Connections包以优化数据库连接管理

管理建模和仿真的文件

Keil uVision5全面精通指南

flink提交给yarn19个全量同步MYsqlCDC的作业，flink的配置参数怎样设置

PHP博客旅游的探索之旅

STM32F103+PWM+DMA精准控制输出脉冲的数量和频率源程序