Python第4版高级话题与Unicode/字节字符串详解

需积分: 9 186 浏览量更新于2024-07-18 2 收藏 3.46MB PDF 举报

"《Python学习手册》(第4版)的补充文章着重于高级话题，包括第36章的“Unicode和字节字符串”。在Python中，字符串处理是核心内容，尤其是对于处理复杂数据类型和国际化应用的程序员来说。Python3.0的显著变化之一是将原有的`str`和`unicode`类型合并为`str`和`bytes`，这反映了对二进制数据和宽字符文本支持的提升。在该章节中，读者将学习Python对Unicode文本的底层支持，包括宽字符字符串（用于国际化的多语言文本）和二进制数据（表示字节值）。Python2.6和Python3.0在字符串类型设计上有所不同： - Python3.0引入了`bytes`类型，专门用于二进制数据，而`str`类型则支持Unicode文本，包括ASCII字符作为其子集。 - Python2.6则区分了`str`（用于简单文本）和`unicode`（处理非ASCII Unicode文本）类型，同时支持二进制数据。此外，字符串模式在处理非ASCII文件时扮演重要角色，因此章节也会涵盖相关基础知识。高级字符串和二进制工具，如正则表达式（模式匹配）、对象序列化（pickle）、二进制数据封装以及XML解析等技术，都会在本章中进行介绍。值得注意的是，这些工具的使用方法在Python3.0中可能有所调整，因此对于那些需要处理这些高级话题的程序员来说，这一章提供了必要的支持。这一部分的内容深入讲解了Python字符串处理的复杂性和多样性，无论是为了日常开发还是准备处理特定领域的数据处理，都具有很高的实用价值。"

906

｜

第

章

b'\xc1c\xc2T\xc3'

>>>

S.encode('cp850')

# 5 bytes each

b'A\x8eB\x8aC'

>>>

S = 'spam'

# ASCII text is the same in most

>>>

S.encode('latin-1')

b'spam'

>>>

S.encode('utf-8')

b'spam'

>>>

S.encode('cp500')

# But not in cp500: IBM EBCDIC!

b'\xa2\x97\x81\x94'

>>>

S.encode('cp850')

b'spam'

从技术上讲，你也可以使用

chr

而不是

Unicode

转义或十六进制转义来构建

Unicode

字符串

片段，但是，对于较大的字符串来说，这可能变得很繁琐：

>>>

S = 'A' + chr(0xC4) + 'B' + chr(0xE8) + 'C'

>>>

'AÄBèC'

这里有两点要注意。首先，

Py t h o n 3.0

允许特殊的字符以十六进制和

Un i c o d e

转义的方

式编码到

s t r

字符串中，但是，只能以十六进制转义的方式编码到

b y t e s

字符串中：

Un i code

转义会默默地逐字转换为字节常量，而不是转义。实际上，

b y t e s

必须编码为

str

字符串，以便将其打印为非

ASCII

字符：

>>>

S = 'A\xC4B\xE8C'

# str recognizes hex and Unicode escapes

>>>

'AÄBèC'

>>>

S = 'A\u00C4B\U000000E8C'

>>>

'AÄBèC'

>>>

B = b'A\xC4B\xE8C'

# bytes recognizes hex but not Unicode

>>>

b'A\xc4B\xe8C'

>>>

B = b'A\u00C4B\U000000E8C'

# Escape sequences taken literally!

>>>

b'A\\u00C4B\\U000000E8C'

>>>

B = b'A\xC4B\xE8C'

# Use hex escapes for bytes

>>>

# Prints non-ASCII as hex

b'A\xc4B\xe8C'

>>>

print(B)

b'A\xc4B\xe8C'

>>>

B.decode('latin-1')

# Decode as latin-1 to interpret as text

'AÄBèC'

其次，字节常量要求字符要么是

ASCII

字符，要么如果它们的值大于

127

就进行转义。另

908

｜

第

章

它们，并且在写入文本字符串的时候自动解码它们。因此，脚本往往可以广泛地处理字

符串，而不必直接编码特殊字符。

在本章稍后我们还将看到，从文件传出和向文件传入字符串的时候，也可以在编码之间

进行转换，使用与上一个例子中非常类似的一种技术。尽管在打开一个文件的时候仍然

需要显式地提供编码名称，但文件接口自动完成大多数转换工作。

在

Python 2.6

中编码

Unicode

字符串

既然已经介绍了

Python 3.0

中基本的

Unicode

字符串知识，我需要说明的是，在

Python 2.6

中可以做很多相同的事情，尽管所使用的工具是不同的。

unicode

在

Python 2.6

中是可用

的，但它是与

s t r

截然不同的数据类型，并且当常规字符串和

Unic o d e

字符串兼容的时

候，它允许自由组合。实际上，当遇到把

raw

字节编码为一个

Unicode

字符串的时候，我

们基本上可以把

Python 2.6

的

str

当做

Python 3.0

的

bytes

，只要它保持正确的形式。如下

是在

Python 2.6

中的实际应用（本章所有其他节都是在

Python 3.0

下运行的情况）：

C:\misc>

c:\python26\python

>>>

import sys

>>>

sys.version

'2.6 (r26:66721, Oct 2 2008, 11:35:03) [MSC v.1500 32 bit (Intel)]'

>>>

S = 'A\xC4B\xE8C'

# String of 8-bit bytes

>>>

print S

# Some are non-ASCII

AÄBèC

>>>

S.decode('latin-1')

# Decode byte to latin-1 Unicode

u'A\xc4B\xe8C'

>>>

S.decode('utf-8')

# Not formatted as utf-8

UnicodeDecodeError: 'utf8' codec can't decode bytes in position 1-2: invalid data

>>>

S.decode('ascii')

# Outside ASCII range

UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position 1: ordinal

not in range(128)

为了存储任意的编码的

Unicode

文本，用

u'xxx'

常量形式创建一个

unicode

对象（这个常

量在

Python 3.0

中不再可用，因为

Python 3.0

中所有字符串都支持

Unicode

）：

>>>

U = u'A\xC4B\xE8C'

# Make Unicode string, hex escapes

>>>

u'A\xc4B\xe8C'

>>>

print U

AÄBèC

一旦创建了它，可以把

Unicode

文本转换为不同的

raw

字节编码，这类似于在

Python 3.0

中把

str

对象编码为

bytes

对象：

910

｜

第

章

>>>

str(u'spam')

# Unicode to normal

'spam'

>>>

unicode('spam')

# Normal to Unicode

u'spam'

然而，

Python 2.6

中这种自由混合字符串类型的方法，只有在字符串和

unicode

对象的编

码类型兼容的情况下才有效：

>>>

S = 'A\xC4B\xE8C'

# Can't mix if incompatible

>>>

U = u'A\xC4B\xE8C'

>>>

S + U

UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position 1: ordinal

not in range(128)

>>>

S.decode('latin-1') + U

# Manual conversion still required

u'A\xc4B\xe8CA\xc4B\xe8C'

>>>

print S.decode('latin-1') + U

AÄBèCAÄBèC

最后，正如我们将在本章稍后更具体介绍的，

Python 2.6

的

open

调用只支持

位字节的文

件，将其内容返回为

s t r

字符串；将其内容解释为文本，还是解释为二进制数并根据需

要解码，这取决于你。要读取和编写

Unicode

文件并自动编码或解码器内容，使用

Python

2.6

的

codecs.open

调用，

Python 2.6

的库手册中有所介绍。这个调用提供了与

Python 3.0

的

open

相同的功能，并且使用

Python 2.6

的

unicode

对象来表示文件内容——读取一个文

件，把编码的字节翻译为解码的

Un i c ode

字符，并且在文件打开的时候把翻译字符串写

入想要的指定编码。

源文件字符集编码声明

Unicode

转义代码对于字符串常量中偶尔出现的

Unicode

字符很好用，但是，如果需要频

繁地在字符串中嵌入非

AS C II

文本的话，这会变得很繁琐。对于在脚本文件中编码的字

符串，

Pyth on

默认地使用

UTF-8

编码，但是，它允许我们通过包含一个注释来指明想要

的编码，从而将默认值修改为支持任意的字符集。这个注释必须拥有如下的形式，并且

在

Python 2.6

或

Python 3.0

中必须作为脚本的第一行或第二行出现：

# -*- coding: latin-1 -*-

当出现这种形式的注释时，

Python

将自然按照给定的编码来识别表示的字符串。这意味

着，我们可以在一个文本编辑中编辑脚本文件来正确地接受和显示重音及其他非

AS C II

字符，并且

Python

将在字符串常量中正确地解码它们。例如，注意如下文件

tex t.py

的顶

部，注释是如何允许

Latin-1

字符嵌入字符串中的：

# -*- coding: latin-1 -*-

剩余238页未读，继续阅读

u011135578

粉丝: 3
资源: 15

Python第4版高级话题与Unicode/字节字符串详解

Python学习手册(第4版)

Python学习手册第4版pdf（一共四个部分，需全部下载，一起解压）.7z.002

Python学习手册(第4版-高清-带书签).pdf

python学习手册 第4版 中文pdf

[python学习手册(第4版)].(learning.python).mark.lutz.扫描版

python学习手册 第3版 pdf

python学习手册电子版

这段代码要求安装哪些库：Required RHEL5 packages: mysql mysql-server memcached python-memcached MySQL-python python-devel gcc python-dpkt atlas atlas-devel lapack lapack-devel blas blas-devel glpk-devel g2clib-devel compat-libf2c-34 compat-gcc-34-g77

python学习手册怎么下载

用yum怎么下载python-setuptools python-imaging python-ldap MySQL-python python-memcached python-urllib

最新资源

python学习手册第4版中文pdf

python学习手册第3版 pdf