Python3.0字符串深度解析：Unicode与二进制数据

需积分: 9 152 浏览量更新于2024-07-19 收藏 3.47MB PDF 举报

"Python学习手册第四版的第八部分，涵盖了高级话题，主要讲解Unicode和字节字符串，适合处理非ASCII字符串和二进制数据的程序员。本章节将介绍Python3.0和Python2.6中字符串处理的不同，包括Unicode文本的基础知识、二进制数据的处理、非ASCII文件的处理，以及高级字符串和二进制工具的应用，如模式匹配、对象pickle化、二进制数据包装和XML解析。" 在Python中，字符串是基础数据类型之一，但在处理不同类型的文本时，不同的字符串类型变得至关重要。对于那些处理非ASCII字符（如国际化的文本）的开发者来说，理解Unicode和字节字符串的概念是必要的。Unicode是一种标准，允许表示世界上几乎所有的字符，而字节字符串则用于存储二进制数据，如图像或文件内容。在Python3.0中，字符串模型进行了重大改变。旧的str和unicode类型被融合到新的str类型中，支持Unicode文本，同时新增了bytes类型来处理二进制数据。Python2.6则使用单独的unicode类型来表示Unicode文本，而str类型既可以处理简单文本也可以处理二进制数据，这种混用有时会导致混淆。本章深入探讨了Unicode的基础，包括字符编码、解码以及如何在Python中有效地使用Unicode字符串。Unicode支持使得Python可以处理多种语言的文本，这对于开发全球化软件至关重要。同时，章节还涉及了如何处理二进制数据，包括读写二进制文件，以及使用如bytearray这样的可变字节序列。在高级话题中，本章会讨论Python的正则表达式（re模块）如何应用于Unicode字符串，以及如何使用pickle模块来序列化和反序列化Python对象。此外，还会介绍如何包装二进制数据，如图像和音频文件，以及如何使用Python的xml.etree.ElementTree模块解析XML文档。这些工具和方法对于处理复杂的数据格式非常有用。 Python3.0的字符串变化不仅影响了字符串本身的使用，也影响了与之相关的库和函数，因此理解这些变化对于迁移旧代码或开发新项目是至关重要的。通过本章的学习，读者将能够更深入地理解Python中字符串的处理方式，以及如何在实际项目中有效地利用Unicode和字节字符串。

906

｜

第

章

b'\xc1c\xc2T\xc3'

>>>

S.encode('cp850')

# 5 bytes each

b'A\x8eB\x8aC'

>>>

S = 'spam'

# ASCII text is the same in most

>>>

S.encode('latin-1')

b'spam'

>>>

S.encode('utf-8')

b'spam'

>>>

S.encode('cp500')

# But not in cp500: IBM EBCDIC!

b'\xa2\x97\x81\x94'

>>>

S.encode('cp850')

b'spam'

从技术上讲，你也可以使用

chr

而不是

Unicode

转义或十六进制转义来构建

Unicode

字符串

片段，但是，对于较大的字符串来说，这可能变得很繁琐：

>>>

S = 'A' + chr(0xC4) + 'B' + chr(0xE8) + 'C'

>>>

'AÄBèC'

这里有两点要注意。首先，

Py t h o n 3.0

允许特殊的字符以十六进制和

Un i c o d e

转义的方

式编码到

s t r

字符串中，但是，只能以十六进制转义的方式编码到

b y t e s

字符串中：

Un i code

转义会默默地逐字转换为字节常量，而不是转义。实际上，

b y t e s

必须编码为

str

字符串，以便将其打印为非

ASCII

字符：

>>>

S = 'A\xC4B\xE8C'

# str recognizes hex and Unicode escapes

>>>

'AÄBèC'

>>>

S = 'A\u00C4B\U000000E8C'

>>>

'AÄBèC'

>>>

B = b'A\xC4B\xE8C'

# bytes recognizes hex but not Unicode

>>>

b'A\xc4B\xe8C'

>>>

B = b'A\u00C4B\U000000E8C'

# Escape sequences taken literally!

>>>

b'A\\u00C4B\\U000000E8C'

>>>

B = b'A\xC4B\xE8C'

# Use hex escapes for bytes

>>>

# Prints non-ASCII as hex

b'A\xc4B\xe8C'

>>>

print(B)

b'A\xc4B\xe8C'

>>>

B.decode('latin-1')

# Decode as latin-1 to interpret as text

'AÄBèC'

其次，字节常量要求字符要么是

ASCII

字符，要么如果它们的值大于

127

就进行转义。另

908

｜

第

章

它们，并且在写入文本字符串的时候自动解码它们。因此，脚本往往可以广泛地处理字

符串，而不必直接编码特殊字符。

在本章稍后我们还将看到，从文件传出和向文件传入字符串的时候，也可以在编码之间

进行转换，使用与上一个例子中非常类似的一种技术。尽管在打开一个文件的时候仍然

需要显式地提供编码名称，但文件接口自动完成大多数转换工作。

在

Python 2.6

中编码

Unicode

字符串

既然已经介绍了

Python 3.0

中基本的

Unicode

字符串知识，我需要说明的是，在

Python 2.6

中可以做很多相同的事情，尽管所使用的工具是不同的。

unicode

在

Python 2.6

中是可用

的，但它是与

s t r

截然不同的数据类型，并且当常规字符串和

Unic o d e

字符串兼容的时

候，它允许自由组合。实际上，当遇到把

raw

字节编码为一个

Unicode

字符串的时候，我

们基本上可以把

Python 2.6

的

str

当做

Python 3.0

的

bytes

，只要它保持正确的形式。如下

是在

Python 2.6

中的实际应用（本章所有其他节都是在

Python 3.0

下运行的情况）：

C:\misc>

c:\python26\python

>>>

import sys

>>>

sys.version

'2.6 (r26:66721, Oct 2 2008, 11:35:03) [MSC v.1500 32 bit (Intel)]'

>>>

S = 'A\xC4B\xE8C'

# String of 8-bit bytes

>>>

print S

# Some are non-ASCII

AÄBèC

>>>

S.decode('latin-1')

# Decode byte to latin-1 Unicode

u'A\xc4B\xe8C'

>>>

S.decode('utf-8')

# Not formatted as utf-8

UnicodeDecodeError: 'utf8' codec can't decode bytes in position 1-2: invalid data

>>>

S.decode('ascii')

# Outside ASCII range

UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position 1: ordinal

not in range(128)

为了存储任意的编码的

Unicode

文本，用

u'xxx'

常量形式创建一个

unicode

对象（这个常

量在

Python 3.0

中不再可用，因为

Python 3.0

中所有字符串都支持

Unicode

）：

>>>

U = u'A\xC4B\xE8C'

# Make Unicode string, hex escapes

>>>

u'A\xc4B\xe8C'

>>>

print U

AÄBèC

一旦创建了它，可以把

Unicode

文本转换为不同的

raw

字节编码，这类似于在

Python 3.0

中把

str

对象编码为

bytes

对象：

910

｜

第

章

>>>

str(u'spam')

# Unicode to normal

'spam'

>>>

unicode('spam')

# Normal to Unicode

u'spam'

然而，

Python 2.6

中这种自由混合字符串类型的方法，只有在字符串和

unicode

对象的编

码类型兼容的情况下才有效：

>>>

S = 'A\xC4B\xE8C'

# Can't mix if incompatible

>>>

U = u'A\xC4B\xE8C'

>>>

S + U

UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position 1: ordinal

not in range(128)

>>>

S.decode('latin-1') + U

# Manual conversion still required

u'A\xc4B\xe8CA\xc4B\xe8C'

>>>

print S.decode('latin-1') + U

AÄBèCAÄBèC

最后，正如我们将在本章稍后更具体介绍的，

Python 2.6

的

open

调用只支持

位字节的文

件，将其内容返回为

s t r

字符串；将其内容解释为文本，还是解释为二进制数并根据需

要解码，这取决于你。要读取和编写

Unicode

文件并自动编码或解码器内容，使用

Python

2.6

的

codecs.open

调用，

Python 2.6

的库手册中有所介绍。这个调用提供了与

Python 3.0

的

open

相同的功能，并且使用

Python 2.6

的

unicode

对象来表示文件内容——读取一个文

件，把编码的字节翻译为解码的

Un i c ode

字符，并且在文件打开的时候把翻译字符串写

入想要的指定编码。

源文件字符集编码声明

Unicode

转义代码对于字符串常量中偶尔出现的

Unicode

字符很好用，但是，如果需要频

繁地在字符串中嵌入非

AS C II

文本的话，这会变得很繁琐。对于在脚本文件中编码的字

符串，

Pyth on

默认地使用

UTF-8

编码，但是，它允许我们通过包含一个注释来指明想要

的编码，从而将默认值修改为支持任意的字符集。这个注释必须拥有如下的形式，并且

在

Python 2.6

或

Python 3.0

中必须作为脚本的第一行或第二行出现：

# -*- coding: latin-1 -*-

当出现这种形式的注释时，

Python

将自然按照给定的编码来识别表示的字符串。这意味

着，我们可以在一个文本编辑中编辑脚本文件来正确地接受和显示重音及其他非

AS C II

字符，并且

Python

将在字符串常量中正确地解码它们。例如，注意如下文件

tex t.py

的顶

部，注释是如何允许

Latin-1

字符嵌入字符串中的：

# -*- coding: latin-1 -*-

剩余238页未读，继续阅读

liu_9811

粉丝: 0
资源: 1

Python3.0字符串深度解析：Unicode与二进制数据

Python学习手册（第4版）-第8部分&附录

python学习手册第8部分&附录

Python学习手册(第4版)-第8部分

Python学习手册(第4版)-第8部分&附录.pdf

Python学习手册(第4版)-第8、9部分&附录

Python学习手册(第4版)-第8部分%26附录.rar )

python学习手册(第4版第8章内容)

python 学习手册 4版 pdf

Python第4版官方指南：扫描版电子书与学习资源

Learning Python, 第四版：权威指南

最新资源