Python3.0字符串深度解析：Unicode与字节字符串

需积分: 9 98 浏览量更新于2024-07-19 收藏 3.47MB PDF 举报

"Python学习手册(第4版)-第8部分&附录" 在Python学习手册的第四版中，第8部分聚焦于高级话题，包括Unicode和字节字符串的处理，这是对之前章节中基本字符串类型的一个扩展。这部分内容特别针对那些处理非ASCII文本和二进制数据的专业程序员，或者可能在未来工作中涉及这些领域的程序员。首先，作者介绍了Unicode文本的基础，这对于构建国际化应用程序至关重要。Unicode是一种标准，能表示世界上几乎所有的文字系统，远超ASCII的字符集。在Python 3.0中，常规的str类型已支持Unicode文本，使得处理多语言文本变得更加方便。而ASCII，作为Unicode的一个子集，也被自然地纳入其中。其次，针对二进制数据，Python 3.0引入了一个新的类型——bytes，以区分文本字符串和二进制数据。这解决了Python 2.6中str类型同时处理简单文本和二进制数据时可能导致的混淆。Bytes类型专门用于表示原始字节序列，比如图像文件内容或网络传输的数据。在高级话题中，章节还涵盖了如何处理非ASCII文件，这对于理解Python如何在不同编码之间转换和读写文件至关重要。此外，还讨论了一些高级工具，如正则表达式（模式匹配）、对象序列化（pickle化）、二进制数据的包装以及XML解析，这些都是Python处理字符串和二进制数据的常见应用场景。特别强调的是，Python 3.0对字符串的改动影响了这些工具的使用方式。例如，字符串操作的语法和行为在新版本中有所调整，这可能需要程序员更新他们的代码以适应新标准。这部分内容为Python开发者提供了更深入的字符串处理知识，帮助他们应对处理复杂文本和二进制数据的挑战，尤其是对于需要进行跨文化沟通或者处理多媒体数据的项目来说，这些知识是必不可少的。虽然不是所有程序员都会立即用到这些高级特性，但了解它们的存在和用法将有助于在遇到相应问题时能够迅速找到解决方案。

906

｜

第

章

b'\xc1c\xc2T\xc3'

>>>

S.encode('cp850')

# 5 bytes each

b'A\x8eB\x8aC'

>>>

S = 'spam'

# ASCII text is the same in most

>>>

S.encode('latin-1')

b'spam'

>>>

S.encode('utf-8')

b'spam'

>>>

S.encode('cp500')

# But not in cp500: IBM EBCDIC!

b'\xa2\x97\x81\x94'

>>>

S.encode('cp850')

b'spam'

从技术上讲，你也可以使用

chr

而不是

Unicode

转义或十六进制转义来构建

Unicode

字符串

片段，但是，对于较大的字符串来说，这可能变得很繁琐：

>>>

S = 'A' + chr(0xC4) + 'B' + chr(0xE8) + 'C'

>>>

'AÄBèC'

这里有两点要注意。首先，

Py t h o n 3.0

允许特殊的字符以十六进制和

Un i c o d e

转义的方

式编码到

s t r

字符串中，但是，只能以十六进制转义的方式编码到

b y t e s

字符串中：

Un i code

转义会默默地逐字转换为字节常量，而不是转义。实际上，

b y t e s

必须编码为

str

字符串，以便将其打印为非

ASCII

字符：

>>>

S = 'A\xC4B\xE8C'

# str recognizes hex and Unicode escapes

>>>

'AÄBèC'

>>>

S = 'A\u00C4B\U000000E8C'

>>>

'AÄBèC'

>>>

B = b'A\xC4B\xE8C'

# bytes recognizes hex but not Unicode

>>>

b'A\xc4B\xe8C'

>>>

B = b'A\u00C4B\U000000E8C'

# Escape sequences taken literally!

>>>

b'A\\u00C4B\\U000000E8C'

>>>

B = b'A\xC4B\xE8C'

# Use hex escapes for bytes

>>>

# Prints non-ASCII as hex

b'A\xc4B\xe8C'

>>>

print(B)

b'A\xc4B\xe8C'

>>>

B.decode('latin-1')

# Decode as latin-1 to interpret as text

'AÄBèC'

其次，字节常量要求字符要么是

ASCII

字符，要么如果它们的值大于

127

就进行转义。另

908

｜

第

章

它们，并且在写入文本字符串的时候自动解码它们。因此，脚本往往可以广泛地处理字

符串，而不必直接编码特殊字符。

在本章稍后我们还将看到，从文件传出和向文件传入字符串的时候，也可以在编码之间

进行转换，使用与上一个例子中非常类似的一种技术。尽管在打开一个文件的时候仍然

需要显式地提供编码名称，但文件接口自动完成大多数转换工作。

在

Python 2.6

中编码

Unicode

字符串

既然已经介绍了

Python 3.0

中基本的

Unicode

字符串知识，我需要说明的是，在

Python 2.6

中可以做很多相同的事情，尽管所使用的工具是不同的。

unicode

在

Python 2.6

中是可用

的，但它是与

s t r

截然不同的数据类型，并且当常规字符串和

Unic o d e

字符串兼容的时

候，它允许自由组合。实际上，当遇到把

raw

字节编码为一个

Unicode

字符串的时候，我

们基本上可以把

Python 2.6

的

str

当做

Python 3.0

的

bytes

，只要它保持正确的形式。如下

是在

Python 2.6

中的实际应用（本章所有其他节都是在

Python 3.0

下运行的情况）：

C:\misc>

c:\python26\python

>>>

import sys

>>>

sys.version

'2.6 (r26:66721, Oct 2 2008, 11:35:03) [MSC v.1500 32 bit (Intel)]'

>>>

S = 'A\xC4B\xE8C'

# String of 8-bit bytes

>>>

print S

# Some are non-ASCII

AÄBèC

>>>

S.decode('latin-1')

# Decode byte to latin-1 Unicode

u'A\xc4B\xe8C'

>>>

S.decode('utf-8')

# Not formatted as utf-8

UnicodeDecodeError: 'utf8' codec can't decode bytes in position 1-2: invalid data

>>>

S.decode('ascii')

# Outside ASCII range

UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position 1: ordinal

not in range(128)

为了存储任意的编码的

Unicode

文本，用

u'xxx'

常量形式创建一个

unicode

对象（这个常

量在

Python 3.0

中不再可用，因为

Python 3.0

中所有字符串都支持

Unicode

）：

>>>

U = u'A\xC4B\xE8C'

# Make Unicode string, hex escapes

>>>

u'A\xc4B\xe8C'

>>>

print U

AÄBèC

一旦创建了它，可以把

Unicode

文本转换为不同的

raw

字节编码，这类似于在

Python 3.0

中把

str

对象编码为

bytes

对象：

910

｜

第

章

>>>

str(u'spam')

# Unicode to normal

'spam'

>>>

unicode('spam')

# Normal to Unicode

u'spam'

然而，

Python 2.6

中这种自由混合字符串类型的方法，只有在字符串和

unicode

对象的编

码类型兼容的情况下才有效：

>>>

S = 'A\xC4B\xE8C'

# Can't mix if incompatible

>>>

U = u'A\xC4B\xE8C'

>>>

S + U

UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position 1: ordinal

not in range(128)

>>>

S.decode('latin-1') + U

# Manual conversion still required

u'A\xc4B\xe8CA\xc4B\xe8C'

>>>

print S.decode('latin-1') + U

AÄBèCAÄBèC

最后，正如我们将在本章稍后更具体介绍的，

Python 2.6

的

open

调用只支持

位字节的文

件，将其内容返回为

s t r

字符串；将其内容解释为文本，还是解释为二进制数并根据需

要解码，这取决于你。要读取和编写

Unicode

文件并自动编码或解码器内容，使用

Python

2.6

的

codecs.open

调用，

Python 2.6

的库手册中有所介绍。这个调用提供了与

Python 3.0

的

open

相同的功能，并且使用

Python 2.6

的

unicode

对象来表示文件内容——读取一个文

件，把编码的字节翻译为解码的

Un i c ode

字符，并且在文件打开的时候把翻译字符串写

入想要的指定编码。

源文件字符集编码声明

Unicode

转义代码对于字符串常量中偶尔出现的

Unicode

字符很好用，但是，如果需要频

繁地在字符串中嵌入非

AS C II

文本的话，这会变得很繁琐。对于在脚本文件中编码的字

符串，

Pyth on

默认地使用

UTF-8

编码，但是，它允许我们通过包含一个注释来指明想要

的编码，从而将默认值修改为支持任意的字符集。这个注释必须拥有如下的形式，并且

在

Python 2.6

或

Python 3.0

中必须作为脚本的第一行或第二行出现：

# -*- coding: latin-1 -*-

当出现这种形式的注释时，

Python

将自然按照给定的编码来识别表示的字符串。这意味

着，我们可以在一个文本编辑中编辑脚本文件来正确地接受和显示重音及其他非

AS C II

字符，并且

Python

将在字符串常量中正确地解码它们。例如，注意如下文件

tex t.py

的顶

部，注释是如何允许

Latin-1

字符嵌入字符串中的：

# -*- coding: latin-1 -*-

剩余238页未读，继续阅读

Doctor_Xiao

粉丝: 0
资源: 8

Python3.0字符串深度解析：Unicode与字节字符串

Python学习手册(第4版)-补充文章（8,9部分）-PDF高清电子版本

python学习手册第8部分&附录

python 学习手册后续章节第8部分

python学习手册 第4版 中文pdf

[python学习手册(第4版)].(learning.python).mark.lutz.扫描版

帮我写一个dockerfile 基于ubuntu18.04 安装python3.8 pip3 ros-melodic protobuf3.6.1

更新pip到最新版本，然后再次尝试`pip install --upgrade pip && pip install passbolt-client`。如果还是失败，查看Python的版本信息，确保它兼容`passbolt-client`的最低要求。

下载python-pip

docker中,把python3版本降低到Python3.9

FROM python:3.8-slimRUN apt-get update && apt-get install -y nginx

最新资源

python学习手册第4版中文pdf