Python3.0字符串深度解析：Unicode与二进制数据

需积分: 9 103 浏览量更新于2024-07-18 收藏 3.45MB PDF 举报

"Python 学习手册后续章节第8部分主要涵盖了高级话题，包括Unicode和字节字符串的处理，这是针对处理非ASCII文本和二进制数据的程序员所设计的内容。这一部分详细介绍了Python字符串模型的高级方面，尤其是Python3.0版本中字符串类型的改变，以及如何应对国际化应用程序的需求。在Python3.0之前，Unicode文本和二进制数据的处理相对复杂，通常需要使用不同的字符串类型。Python2.6中，Unicode文本由unicode类型表示，而普通的字符串(str)则可以处理ASCII文本和二进制数据。然而，在Python3.0中，这种区分被明确化，二进制数据由新的bytes类型表示，而str类型则完全支持Unicode，将ASCII视为Unicode的一个子集。在第36章中，作者探讨了Unicode的基础知识，这对于开发处理多种语言的应用程序至关重要。Unicode是一个包含全世界几乎所有字符的标准，使得程序员能够处理各种语言的文本。书中还讨论了Python如何支持Unicode编码，如UTF-8、UTF-16等，以及如何在Python代码中进行转换和操作。此外，章节中也提到了非ASCII文件的处理，这是另一个重要的主题，因为很多数据文件（如图像、音频或视频文件）都包含非文本的二进制数据。Python提供了处理二进制数据的工具，如bytearray和内存视图（memoryview），以及如何在不同数据类型之间进行转换。高级字符串操作包括模式匹配，如正则表达式，这是Python中通过re模块实现的。这些工具允许程序员根据特定的模式搜索、替换或提取字符串中的信息。另外，pickle模块用于序列化和反序列化Python对象，使得数据能在不同的程序运行之间持久化。二进制数据包装涉及到如何将非文本数据封装在字符串中，以便于传输或存储。最后，XML解析是处理结构化数据的重要技术，Python提供了如xml.etree.ElementTree库来解析和操作XML文档。总而言之，这部分内容深入探讨了Python在处理Unicode和二进制数据方面的特性和工具，旨在帮助开发者更好地理解和利用Python的字符串能力，特别是在处理国际化和复杂数据类型的场景下。虽然不是所有程序员都会遇到这些高级话题，但对于需要处理非ASCII文本或二进制数据的开发者来说，这些知识是必不可少的。"

906

｜

第

章

b'\xc1c\xc2T\xc3'

>>>

S.encode('cp850')

# 5 bytes each

b'A\x8eB\x8aC'

>>>

S = 'spam'

# ASCII text is the same in most

>>>

S.encode('latin-1')

b'spam'

>>>

S.encode('utf-8')

b'spam'

>>>

S.encode('cp500')

# But not in cp500: IBM EBCDIC!

b'\xa2\x97\x81\x94'

>>>

S.encode('cp850')

b'spam'

从技术上讲，你也可以使用

chr

而不是

Unicode

转义或十六进制转义来构建

Unicode

字符串

片段，但是，对于较大的字符串来说，这可能变得很繁琐：

>>>

S = 'A' + chr(0xC4) + 'B' + chr(0xE8) + 'C'

>>>

'AÄBèC'

这里有两点要注意。首先，

Py t h o n 3.0

允许特殊的字符以十六进制和

Un i c o d e

转义的方

式编码到

s t r

字符串中，但是，只能以十六进制转义的方式编码到

b y t e s

字符串中：

Un i code

转义会默默地逐字转换为字节常量，而不是转义。实际上，

b y t e s

必须编码为

str

字符串，以便将其打印为非

ASCII

字符：

>>>

S = 'A\xC4B\xE8C'

# str recognizes hex and Unicode escapes

>>>

'AÄBèC'

>>>

S = 'A\u00C4B\U000000E8C'

>>>

'AÄBèC'

>>>

B = b'A\xC4B\xE8C'

# bytes recognizes hex but not Unicode

>>>

b'A\xc4B\xe8C'

>>>

B = b'A\u00C4B\U000000E8C'

# Escape sequences taken literally!

>>>

b'A\\u00C4B\\U000000E8C'

>>>

B = b'A\xC4B\xE8C'

# Use hex escapes for bytes

>>>

# Prints non-ASCII as hex

b'A\xc4B\xe8C'

>>>

print(B)

b'A\xc4B\xe8C'

>>>

B.decode('latin-1')

# Decode as latin-1 to interpret as text

'AÄBèC'

其次，字节常量要求字符要么是

ASCII

字符，要么如果它们的值大于

127

就进行转义。另

908

｜

第

章

它们，并且在写入文本字符串的时候自动解码它们。因此，脚本往往可以广泛地处理字

符串，而不必直接编码特殊字符。

在本章稍后我们还将看到，从文件传出和向文件传入字符串的时候，也可以在编码之间

进行转换，使用与上一个例子中非常类似的一种技术。尽管在打开一个文件的时候仍然

需要显式地提供编码名称，但文件接口自动完成大多数转换工作。

在

Python 2.6

中编码

Unicode

字符串

既然已经介绍了

Python 3.0

中基本的

Unicode

字符串知识，我需要说明的是，在

Python 2.6

中可以做很多相同的事情，尽管所使用的工具是不同的。

unicode

在

Python 2.6

中是可用

的，但它是与

s t r

截然不同的数据类型，并且当常规字符串和

Unic o d e

字符串兼容的时

候，它允许自由组合。实际上，当遇到把

raw

字节编码为一个

Unicode

字符串的时候，我

们基本上可以把

Python 2.6

的

str

当做

Python 3.0

的

bytes

，只要它保持正确的形式。如下

是在

Python 2.6

中的实际应用（本章所有其他节都是在

Python 3.0

下运行的情况）：

C:\misc>

c:\python26\python

>>>

import sys

>>>

sys.version

'2.6 (r26:66721, Oct 2 2008, 11:35:03) [MSC v.1500 32 bit (Intel)]'

>>>

S = 'A\xC4B\xE8C'

# String of 8-bit bytes

>>>

print S

# Some are non-ASCII

AÄBèC

>>>

S.decode('latin-1')

# Decode byte to latin-1 Unicode

u'A\xc4B\xe8C'

>>>

S.decode('utf-8')

# Not formatted as utf-8

UnicodeDecodeError: 'utf8' codec can't decode bytes in position 1-2: invalid data

>>>

S.decode('ascii')

# Outside ASCII range

UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position 1: ordinal

not in range(128)

为了存储任意的编码的

Unicode

文本，用

u'xxx'

常量形式创建一个

unicode

对象（这个常

量在

Python 3.0

中不再可用，因为

Python 3.0

中所有字符串都支持

Unicode

）：

>>>

U = u'A\xC4B\xE8C'

# Make Unicode string, hex escapes

>>>

u'A\xc4B\xe8C'

>>>

print U

AÄBèC

一旦创建了它，可以把

Unicode

文本转换为不同的

raw

字节编码，这类似于在

Python 3.0

中把

str

对象编码为

bytes

对象：

910

｜

第

章

>>>

str(u'spam')

# Unicode to normal

'spam'

>>>

unicode('spam')

# Normal to Unicode

u'spam'

然而，

Python 2.6

中这种自由混合字符串类型的方法，只有在字符串和

unicode

对象的编

码类型兼容的情况下才有效：

>>>

S = 'A\xC4B\xE8C'

# Can't mix if incompatible

>>>

U = u'A\xC4B\xE8C'

>>>

S + U

UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position 1: ordinal

not in range(128)

>>>

S.decode('latin-1') + U

# Manual conversion still required

u'A\xc4B\xe8CA\xc4B\xe8C'

>>>

print S.decode('latin-1') + U

AÄBèCAÄBèC

最后，正如我们将在本章稍后更具体介绍的，

Python 2.6

的

open

调用只支持

位字节的文

件，将其内容返回为

s t r

字符串；将其内容解释为文本，还是解释为二进制数并根据需

要解码，这取决于你。要读取和编写

Unicode

文件并自动编码或解码器内容，使用

Python

2.6

的

codecs.open

调用，

Python 2.6

的库手册中有所介绍。这个调用提供了与

Python 3.0

的

open

相同的功能，并且使用

Python 2.6

的

unicode

对象来表示文件内容——读取一个文

件，把编码的字节翻译为解码的

Un i c ode

字符，并且在文件打开的时候把翻译字符串写

入想要的指定编码。

源文件字符集编码声明

Unicode

转义代码对于字符串常量中偶尔出现的

Unicode

字符很好用，但是，如果需要频

繁地在字符串中嵌入非

AS C II

文本的话，这会变得很繁琐。对于在脚本文件中编码的字

符串，

Pyth on

默认地使用

UTF-8

编码，但是，它允许我们通过包含一个注释来指明想要

的编码，从而将默认值修改为支持任意的字符集。这个注释必须拥有如下的形式，并且

在

Python 2.6

或

Python 3.0

中必须作为脚本的第一行或第二行出现：

# -*- coding: latin-1 -*-

当出现这种形式的注释时，

Python

将自然按照给定的编码来识别表示的字符串。这意味

着，我们可以在一个文本编辑中编辑脚本文件来正确地接受和显示重音及其他非

AS C II

字符，并且

Python

将在字符串常量中正确地解码它们。例如，注意如下文件

tex t.py

的顶

部，注释是如何允许

Latin-1

字符嵌入字符串中的：

# -*- coding: latin-1 -*-

剩余238页未读，继续阅读

Summon_

粉丝: 0
资源: 1

Python3.0字符串深度解析：Unicode与二进制数据

python学习手册第8部分&附录

Python学习手册(第4版)-第8部分&附录.pdf

Python学习手册(第4版)-高级话题&附录.pdf

python学习手册第3版

Python学习手册（中文第五版）勘误及讨论。.zip

python学习手册(第3版）

Python学习手册——压缩文件详解

Python数据科学手册：第二版

python3.7官方中文手册

Python-入门手册及教程-新手

最新资源