【Python字符串规范化】：精通NFC、NFD、NFKC、NFKD，unicodedata库让你游刃有余

# 1. Python字符串规范化概述

在信息的数字化时代，数据的准确性与一致性是确保应用稳定运行的基础。在处理文本数据时，不同系统和平台之间可能会因为字符编码的差异而导致数据错误。Python字符串规范化技术应运而生，旨在解决跨平台和国际化应用中的文本一致性问题。规范化的过程通过将字符串转换成统一的标准形式，从而避免了因字符编码差异引起的各种问题，如文本比较的不一致性、搜索问题以及在国际化和本地化处理中的种种不便。本章节将对Python中的字符串规范化技术进行概述，并探讨其基本概念和应用的重要性。

# 2. Python中的字符编码基础

### 2.1 字符、字节和编码的关系

#### 2.1.1 字符编码的历史背景

字符编码的历史可以追溯到计算机诞生初期，当计算机系统开始需要处理文本时，人们就必须建立一种机制来表示这些文本。字符编码是计算机用来数字化地表示书面文本的方法，它映射字符到数字，从而允许计算机存储和处理这些字符。

起初，字符编码方案非常多样，导致了不同的制造商和软件平台之间的互操作性问题。随着时间的推移，人们逐步形成了各种标准化的编码系统。而随着计算机系统成为全球性的工具，对统一和标准化的需求日益增长，Unicode编码应运而生，旨在提供一个所有字符的终极表示，解决了字符编码混乱的问题。

#### 2.1.2 字符与字节的转换原理

字符与字节之间的转换基于特定的字符编码标准，例如ASCII、ISO-8859-1（Latin1）或UTF-8。每种编码标准都有自己的规则来映射字符到字节序列。在Python中，可以通过内置的编码功能来实现字符到字节的转换。

例如，ASCII编码只使用单字节来表示字符，并且只适用于基本的拉丁字母。而UTF-8编码是变长的，它可以用1到4个字节来表示一个字符，这使得它能够表示Unicode标准中的所有字符。

### 2.2 Unicode编码标准

#### 2.2.1 Unicode编码简介

Unicode是一个旨在包含世界上所有字符的编码标准。它是一个庞大的字符集，理论上可以表示几乎所有书面语言的字符。Unicode字符集中的每个字符都分配了一个唯一的码点（Code Point），这些码点通常表示为十六进制，并以“U+”开头，如“U+0041”代表大写字母“A”。

Unicode本身并不指定字符在计算机中的具体表示方式，而是一种抽象的编码方式。将Unicode码点转换为计算机可用的字节序列的规则称为编码格式。UTF-8、UTF-16和UTF-32是三种常见的Unicode编码格式。

#### 2.2.2 Python中的Unicode支持

Python 从 2.0 版本起就开始内置了 Unicode 支持，而在 Python 3 中，Unicode 成为了字符串的标准形式。这意味着在 Python 3 中，所有的字符串字面量默认都是 Unicode 字符串，以 `u` 前缀表示。

# Python 3 示例：创建 Unicode 字符串
unicode_string = u"hello world"
print(unicode_string)  # 输出: hello world

当你需要将 Unicode 字符串存储到文件或网络传输时，你需要将其编码为字节序列。Python 提供了 `.encode()` 方法来实现这一点，而常见的编码格式包括 UTF-8、UTF-16 和 UTF-32。

# Python 3 示例：将 Unicode 字符串编码为 UTF-8
encoded_string = unicode_string.encode('utf-8')
print(encoded_string)  # 输出字节序列，如 b'hello world'

在 Python 2 中，需要更明确地处理 Unicode，因为默认情况下，字符串以字节序列的形式存在。当需要表示 Unicode 字符串时，需要使用 `u` 前缀，并且在需要的时候进行显式的编码和解码操作。

# Python 2 示例：创建 Unicode 字符串
unicode_string = u"hello world"
print(unicode_string)  # 输出: hello world

### 编码表和 mermaid 流程图

在 Unicode 标准中，字符与码点的对应关系可以使用编码表来表示。编码表通常是一个二维表，其中列出了字符及其对应的码点。这样的表对于理解字符在 Unicode 中如何被编码非常有帮助。

而下图是一个简化的 Unicode 编码流程图，它展示了字符如何从输入转换为存储在计算机中的字节序列。

graph LR
A[输入 Unicode 字符] --> B[确定字符的码点]
B --> C[选择编码格式]
C --> D[编码为字节序列]
D --> E[存储或传输字节序列]
E --> F[接收到字节序列]
F --> G[根据编码格式解码]
G --> H[输出原始 Unicode 字符]

通过上述流程，Unicode 字符经过编码处理转换成一系列字节，之后可以在计算机中存储或通过网络传输。接收方将收到这些字节序列并解码回原始的 Unicode 字符以供进一步使用。这个过程确保了字符在不同系统和平台间传输的准确性和一致性。

# 3. ```
# 第三章：字符串规范化理论与方法

字符串规范化是文本处理中的一种重要技术，它可以将字符串转换成一种统一的、标准的形式。这种转换过程不仅有助于实现文本的准确比较、搜索和排序，还能有效处理国际化和本地化中的字符集问题。此外，字符串规范化在数据库和网络传输中也有广泛的应用。

## 3.1 规范化形式的概念

规范化形式是标准化文本的基础，它包括以下几种：

### 3.1.1 NFC（Normalization Form C）

NFC是指字符在尽可能少的码点中表示，即对于基本多文种平面（BMP）之外的字符，尽可能使用合成形式。例如，带重音的字符会用单个字符表示，而不是字符和重音符号的组合。

### 3.1.2 NFD（Normalization Form D）

NFD与NFC相反，它将字符分解为基字符和组合标记。这样做的好处是清晰地展示了字符的各个组成部分，但可能会导致文本比较时出现一些问题。

### 3.1.3 NFKC（Normalization Form KC）

NFKC将NFC和兼容性分解（兼容分解）结合起来，适用于需要兼容不同平台或程序库的环境。它通常用于标准化目的，并且在转换过程中会删除那些对视觉效果影响较小的字符。

### 3.1.4 NFKD（Normalization Form KD）

与NFKC类似，NFKD结合了NFD和兼容性分解，但它更倾向于将字符分解为多个部分，以促进不同系统间的兼容性。

## 3.2 规范化的目的和应用场景

字符串规范化的目的和应用场景十分广泛，涉及到文本处理的许多方面。