字符集合和 Unicode 码点之间的关系

# 1. 了解字符集合

在计算机中，字符集合指的是一组字符的集合，用于对字符进行编码和表示。字符集合在计算机中起着至关重要的作用，不同的字符集合可以包含不同的字符，对应不同的编码方案。ASCII 码表是最早期的字符集合之一，使用 7 位二进制数来表示字符，共包含 128 个字符，包括数字、字母、标点符号和控制字符等。ASCII 码表是直接映射了字符与二进制编码之间的关系，为后续更高级的字符集合和编码方案的发展奠定了基础。随着计算机技术的不断发展，字符集合和编码方案也逐渐得到了完善和扩展，为字符处理和文本交互提供了更加丰富和多样的可能性。

# 2. Unicode 码点的基础知识

Unicode 的定义和历史

Unicode 是一种国际标准，用于字符的编码和表示。它的目标是为了解决不同国家、不同语言的文字之间的互通性问题。Unicode 的历史可以追溯到上个世纪八十年代，当时出现了一些不兼容的字符编码系统，例如 ASCII 和 EBCDIC，这导致了跨平台和跨语言的文字交流困难。

Unicode 编码的发展

在 Unicode 出现之前，各个国家都有自己的字符集和编码方式。Unicode 的提出，使得全球范围内的字符得以统一编码。最初，Unicode 采用的编码方式是 UCS-2，使用 2 个字节来表示一个字符。但随着各国文字的增多，UCS-2 已经无法完全容纳所有字符，因此发展出了 UTF-8 和 UTF-16 编码方案。

Unicode 码点的概念

Unicode 码点是指每个字符在 Unicode 中的唯一编号，用来表示该字符。码点是一个十六进制的数字，范围从 U+0000 到 U+10FFFF。每个码点对应一个字符，包括字母、数字、标点符号、表情符号等。Unicode 码点是字符与二进制表示之间的映射。

Unicode 码点的表示方法

Unicode 码点通常以 U+ 开头，后面跟随 4~6 个十六进制数字。例如，拉丁字母 A 的码点是 U+0041，中文汉字“好”的码点是 U+597D。通过这种表示方法，可以唯一确定每个字符在 Unicode 中的位置。

Unicode 码点与字符的关系

每个字符都对应一个唯一的 Unicode 码点，字符与码点之间是一一对应的关系。通过 Unicode 码点，我们可以找到对应的字符，并进行字符的编码和解码。Unicode 码点的存在，使得不同计算机系统和程序之间能够准确地识别和显示各种字符，实现文本的正确传输和显示。

# 3. Unicode 编码方案

### 2.1 UTF-8 编码简介
UTF-8（8-bit Unicode Transformation Format）是一种针对 Unicode 的可变长度字符编码。它可以使用 1 到 4 个字节表示一个字符，能够表示 Unicode 标准中的所有字符。UTF-8 编码规则如下：

- 对于单字节的字符，第一位设为 0，后面的 7 位为 Unicode 字符编号。
- 对于 n 字节的字符（n > 1），第一个字节的前 n 位都设为 1，第 n + 1 位设为 0，后面字节的前两位都设为 10。
- UTF-8 编码的优势在于可以节省存储空间，尤其适合处理英文和中文混合的文本数据。

def utf8_encoder(code_point):
    byte_list = []
    if code_point < 128:
        byte_list.append(code_point)
    elif code_point < 2048:
        byte_list.append(192 | code_point >> 6)
        byte_list.append(128 | (cod