powerbi数据清洗

Power BI 数据清洗主要是指在数据分析过程中对数据集进行预处理的过程，目的是提高数据质量，使其更适合后续的数据分析和可视化。这通常包括以下几个步骤：

1. **去除重复值**：检查并删除数据集中存在的重复记录，避免结果中包含多余的统计信息。

2. **处理缺失值**：识别并填充、删除或替换数据表中的空值（NaN）。可以根据业务规则、平均值、中位数或其他合适的方式填充缺失值；对于无法补全的数据，可以考虑删除含有大量缺失值的行或列。

3. **异常值检测**：找出不符合正常模式的数据点，可能是错误输入、测量误差或真实的离群值。可以选择删除、修正或标记这些异常值。

4. **数据类型转换**：确保所有数据都适合其预期的分析目的。例如，将文本字段转换为数字或将日期时间格式化一致。

5. **数据一致性检查**：如检查关联字段之间的关系是否正确，如外键约束等。

6. **数据标准化或归一化**：有时候需要将数值缩放到统一范围，以便比较。

7. **数据格式整理**：清理文本、日期和其他非结构化数据，使其更易于理解和分析。

相关问题

Power BI 数据清洗

### Power BI 中的数据清洗方法和技巧

#### 使用 Power Query 进行数据加载与预处理
Power BI 提供了一个强大的工具——Power Query，用于执行各种复杂的数据转换任务。在 Power BI Desktop 的“主页”菜单下找到“获取数据”，可以选择多种不同类型的文件作为数据源[^2]。

#### 基本清理操作
一旦导入了原始表格，在查询编辑器界面里能够立即应用一些基础性的调整措施来改善数据状况：

- **首行作标题**：如果CSV或Excel文档的第一行为字段名称，则可以直接将其设置为首行标题。

- **修改数据类型**：对于日期时间戳或者其他特殊格式的内容，应该指定适当的数据类别以确保后续分析过程顺利进行。

- **删除不必要的记录**：去除那些明显不符合逻辑或是存在缺失值过多而无法补救的情况下的整条记录；也可以针对特定条件筛选并移除异常点。

# 删除含有空单元格的行
table = table.dropna()

#### 高级变换技术
除了上述简单的修正手段之外，还有更多高级别的加工方式可供选用：

- **拆分组合列**：依据固定宽度、分隔符或其他规则将单个复合型属性分解成多个独立部分；反之亦然，可以把几个关联密切的小项重新组装起来形成新的综合指标。

- **提取子串信息**：从较长字符串中截取出感兴趣的部分片段，比如电子邮件地址里的域名部分等有用特征。

- **替换旧值为新表达形式**：利用查找表映射关系实现编码转换或者是统一表述口径的目的。

- **填补空白处**：向前填充或者向后传播临近的有效观测值得到连续序列；另外还可以自定义计算公式来进行估算插值。

- **排列顺序重排**：按照字母序、数值大小或者其他维度对各行重新排序使得整体结构更加合理有序。

- **格式化显示样式**：改变数字精度位数、货币单位符号以及百分比表现形态等方面细节上的优化改进。

- **逆透视宽表变长表**：把多列平行布局改造成单一纵向罗列模式便于进一步聚合统计汇总。

#### 特定场景下的专项技能
面对某些特殊情况时，还需要掌握专门应对的方法论：

- 当遇到冗余多余的辅助说明文字干扰核心业务含义理解的时候，可以通过正则表达式的匹配机制精准定位目标范围内的字符区间进而实施针对性清除动作[^4]。

- 如果发现有些重要变量之间存在着潜在联系却未能直观呈现出来的话，不妨尝试构建派生字段补充更多信息量进去支持更深入洞察挖掘活动开展[^5]。

powerbi数据清洗是什么

### PowerBI 中的数据清洗概念

数据清洗是指在数据分析之前对原始数据进行清理和转换的过程，目的是提高数据质量并确保后续分析的有效性和准确性。Power BI 提供了一套强大的工具来帮助用户完成这一过程。

#### 数据清洗的主要目标

- 去除重复记录
- 处理缺失值
- 统一数据格式
- 转换数据类型
- 进行简单的计算或聚合操作

这些工作可以通过 Power Query 编辑器轻松实现[^1]。

### 使用 Power Query 实现数据清洗的方法

Power Query 是 Power BI 内置的一个强大工具，专门用于加载、转换和连接来自不同源的数据。以下是几种常见的数据清洗技术：

#### 1. 删除空白行

当遇到含有大量空单元格的表格时，可以选择删除所有完全为空白的行，从而减少不必要的噪音数据。

Table.SelectRows(#"Previous Step", each not List.IsEmpty(List.RemoveNulls(Record.FieldValues(_)))

这段 M 语言代码片段展示了如何移除表中所有的空行[^2]。

#### 2. 替换错误值

有时会发现某些字段内存在异常字符或其他不符合逻辑的内容，在这种情况下可以定义规则自动替换特定模式的字符串。

= Table.ReplaceValue(Source,each [Column],each if Text.Contains([Column],"Error") then "Unknown" else _ ,Replacer.ReplaceText,{"Column"})

此脚本将把指定列里包含 “Error” 的条目统一替换成 “Unknown”。

#### 3. 类型转换

为了使数值运算更加精确可靠，通常需要调整各列的数据类型至最合适的类别，比如日期时间戳应该被设为 Date 或 DateTime 类型；货币金额则应设置成 Decimal Number 等等。

= Table.TransformColumnTypes(Source,{{"Date Column", type date}, {"Amount Column", type number}})

上述命令可用来改变两列的数据形式分别为日期与数字。

#### 4. 合并与拆分列

如果多列信息实际上代表同一实体的不同方面，则可能希望将其合并到一起形成新的单一属性；相反地，对于那些原本就过载了过多含义的一栏也可以考虑分割开来便于理解。

// Merge columns
= Table.CombineColumns(Table.DemoteHeaders(Source),{"First Name","Last Name"},"FullName",Combiner.CombineTextByDelimiter(" ",BinaryFormat.Text))

// Split column
= Table.SplitColumn(Source,"Address",Splitter.SplitTextByEachDelimiter({",",";"}))

这两段分别演示了怎样组合以及分离姓名地址这样的复合项。