PyODPS开发指南：安装与基础操作详解

需积分: 37 194 浏览量更新于2024-07-18 2 收藏 1.46MB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

PyODPS文档详细介绍了如何在MaxCompute平台上利用Python语言进行开发，特别关注于PyODPS库的使用。该文档适用于DataWorks用户，提供了一个全面的指南，包括安装、工具使用、基本操作、项目空间管理、表操作、SQL执行、任务实例管理、资源管理和函数创建等核心功能。 1. 安装与平台使用: - 文档首先介绍安装步骤，确保读者能够顺利地在本地环境中配置并连接到MaxCompute平台。 - 随后，详细说明了DataWorks用户如何通过PyODPS进行工作流节点的创建，执行SQL查询，以及如何使用DataFrame对象进行数据处理，如获取调度参数和受限功能的了解。 2. 数据操作: - 表的操作是核心部分，涉及到表的创建、Schema定义、同步更新、记录操作、数据读写、删除和DataFrame的创建。此外，还讨论了如何处理表分区，以及数据上传下载通道的设置。 3. SQL处理: - 详细讲解了SQL的执行，包括设置运行参数、读取执行结果、设置别名，以及在交互式环境中的使用。同时，针对Biz_id的设置也有所涉及。 4. 任务实例管理: - 提供了任务实例的基本操作指南，包括获取LogView地址，检查任务状态，并允许对子任务进行操作。 5. 资源管理: - 分别介绍了文件资源和表资源的管理，确保开发者能够有效地管理项目中的数据和文件。 6. 函数与模型: - 讨论了函数的创建、删除和更新，以及如何在XFlow和模型（离线和在线）中使用它们，这对于构建复杂的数据处理流程至关重要。 7. DataFrame: - 专门章节介绍DataFrame，包括快速入门和基本概念，强调了其在数据分析中的核心作用，以及如何进行数据加载、处理和分析。这份文档不仅涵盖了PyODPS在MaxCompute平台上的基础操作，还深入探讨了高级特性，是数据工程师和分析师在使用Python进行大数据处理时的重要参考资料。

资源详情

资源推荐

PyODPS Documentation, 发发发布布布 0.7.17

通过调用 exist_table 来判断表是否存在。

通过调用 get_table 来获取表。

>>> t = o.get_table('dual')

>>> t.schema

odps.Schema {

c_int_a bigint

c_int_b bigint

c_double_a double

c_double_b double

c_string_a string

c_string_b string

c_bool_a boolean

c_bool_b boolean

c_datetime_a datetime

c_datetime_b datetime

}

>>> t.lifecycle

-1

>>> print(t.creation_time)

2014-05-15 14:58:43

>>> t.is_virtual_view

False

>>> t.size

1408

>>> t.schema.columns

[<column c_int_a, type bigint>,

<column c_int_b, type bigint>,

<column c_double_a, type double>,

<column c_double_b, type double>,

<column c_string_a, type string>,

<column c_string_b, type string>,

<column c_bool_a, type boolean>,

<column c_bool_b, type boolean>,

<column c_datetime_a, type datetime>,

<column c_datetime_b, type datetime>]

通过提供 project 参数，来跨project获取表。

>>> t = o.get_table('dual', project='other_project')

3.2.2 创创创建建建表表表的的的Schema

有两种方法来初始化。第一种方式通过表的列、以及可选的分区来初始化。

>>> from odps.models import Schema, Column, Partition

>>> columns = [Column(name='num', type='bigint', comment='the column'),

>>> Column(name='num2', type='double', comment='the column2')]

>>> partitions = [Partition(name='pt', type='string', comment='the partition')]

>>> schema = Schema(columns=columns, partitions=partitions)

>>> schema.columns

[<column num, type bigint>,

<column num2, type double>,

<partition pt, type string>]

>>> schema.partitions

(continues on next page)

10 Chapter 3. 基基基本本本操操操作作作

PyODPS Documentation, 发发发布布布 0.7.17

(续上页)

[<partition pt, type string>]

>>> schema.names # 获取非分区字段的字段名

['num', 'num2']

>>> schema.types # 获取非分区字段的字段类型

[bigint, double]

第二种方法是使用 Schema.from_lists，这种方法更容易调用，但显然无法直接设置列和分区的注释

了。

>>> schema = Schema.from_lists(['num', 'num2'], ['bigint', 'double'], ['pt'], ['string

˓→'])

>>> schema.columns

[<column num, type bigint>,

<column num2, type double>,

<partition pt, type string>]

3.2.3 创创创建建建表表表

可以使用表 schema 来创建表，方法如下：

>>> table = o.create_table('my_new_table', schema)

>>> table = o.create_table('my_new_table', schema, if_not_exists=True) # 只有不存在表时

才创建

>>> table = o.create_table('my_new_table', schema, lifecycle=7) # 设置生命周期

更简单的方式是采用“字段名字段类型”字符串来创建表，方法如下：

>>> table = o.create_table('my_new_table', 'num bigint, num2 double', if_not_

˓→exists=True)

>>> # 创建分区表可传入 (表字段列表, 分区字段列表)

>>> table = o.create_table('my_new_table', ('num bigint, num2 double', 'pt string'),

˓→if_not_exists=True)

在未经设置的情况下，创建表时，只允许使用 bigint、double、decimal、string、datetime、boolean、map 和

array 类型。如果你使用的是位于公共云上的服务，或者支持 tinyint、struct 等新类型，可以设置 options.

sql.use_odps2_extension = True 打开这些类型的支持，示例如下：

>>> from odps import options

>>> options.sql.use_odps2_extension = True

>>> table = o.create_table('my_new_table', 'cat smallint, content struct

˓→<title:varchar(100), body string>')

3.2.4 同同同步步步表表表更更更新新新

有时候，一个表可能被别的程序做了更新，比如schema有了变化。此时可以调用 reload 方法来更新。

>>> table.reload()

3.2.5 行行行记记记录录录Record

Record表示表的一行记录，我们在 Table 对象上调用 new_record 就可以创建一个新的 Record。

3.2. 表表表 11

PyODPS Documentation, 发发发布布布 0.7.17

>>> t = o.get_table('mytable')

>>> r = t.new_record(['val0', 'val1']) # 值的个数必须等于表schema的字段数

>>> r2 = t.new_record() # 也可以不传入值

>>> r2[0] = 'val0' # 可以通过偏移设置值

>>> r2['field1'] = 'val1' # 也可以通过字段名设置值

>>> r2.field1 = 'val1' # 通过属性设置值

>>>

>>> print(record[0]) # 取第0个位置的值

>>> print(record['c_double_a']) # 通过字段取值

>>> print(record.c_double_a) # 通过属性取值

>>> print(record[0: 3]) # 切片操作

>>> print(record[0, 2, 3]) # 取多个位置的值

>>> print(record['c_int_a', 'c_double_a']) # 通过多个字段取值

3.2.6 获获获取取取表表表数数数据据据

有若干种方法能够获取表数据。首先，如果只是查看每个表的开始的小于1万条数据，则可以使用 head 方

法。

>>> t = o.get_table('dual')

>>> for record in t.head(3):

>>> # 处理每个Record对象

其次，在table上可以执行 open_reader 操作来打一个reader来读取数据。

使用 with 表达式的写法：

>>> with t.open_reader(partition='pt=test') as reader:

>>> count = reader.count

>>> for record in reader[5:10] # 可以执行多次，直到将count数量的record读完，这里可以改造

成并行操作

>>> # 处理一条记录

不使用 with 表达式的写法：

>>> reader = t.open_reader(partition='pt=test')

>>> count = reader.count

>>> for record in reader[5:10] # 可以执行多次，直到将count数量的record读完，这里可以改造成并行

操作

>>> # 处理一条记录

更简单的调用方法是使用 ODPS 对象的 read_table 方法，例如

>>> for record in o.read_table('test_table', partition='pt=test'):

>>> # 处理一条记录

3.2.7 向向向表表表写写写数数数据据据

类似于 open_reader，table对象同样能执行 open_writer 来打开writer，并写数据。

使用 with 表达式的写法：

>>> with t.open_writer(partition='pt=test') as writer:

>>> records = [[111, 'aaa', True], # 这里可以是list

(continues on next page)

12 Chapter 3. 基基基本本本操操操作作作

PyODPS Documentation, 发发发布布布 0.7.17

(续上页)

>>> [222, 'bbb', False],

>>> [333, 'ccc', True],

>>> [444, '中文', False]]

>>> writer.write(records) # 这里records可以是可迭代对象

>>>

>>> records = [t.new_record([111, 'aaa', True]), # 也可以是Record对象

>>> t.new_record([222, 'bbb', False]),

>>> t.new_record([333, 'ccc', True]),

>>> t.new_record([444, '中文', False])]

>>> writer.write(records)

>>>

>>> with t.open_writer(partition='pt=test', blocks=[0, 1]) as writer: # 这里同是打开两

个block

>>> writer.write(0, gen_records(block=0))

>>> writer.write(1, gen_records(block=1)) # 这里两个写操作可以多线程并行，各个block间是

独立的

>>>

不使用 with 表达式的写法：

>>> writer = t.open_writer(partition='pt=test', blocks=[0, 1])

>>> writer.write(0, gen_records(block=0))

>>> writer.write(1, gen_records(block=1))

>>> writer.close() # 不要忘记关闭 writer，否则数据可能写入不完全

如果分区不存在，可以使用 create_partition 参数指定创建分区，如

>>> with t.open_writer(partition='pt=test', create_partition=True) as writer:

>>> records = [[111, 'aaa', True], # 这里可以是list

>>> [222, 'bbb', False],

>>> [333, 'ccc', True],

>>> [444, '中文', False]]

>>> writer.write(records) # 这里records可以是可迭代对象

更简单的写数据方法是使用 ODPS 对象的 write_table 方法，例如

>>> records = [[111, 'aaa', True], # 这里可以是list

>>> [222, 'bbb', False],

>>> [333, 'ccc', True],

>>> [444, '中文', False]]

>>> o.write_table('test_table', records, partition='pt=test', create_partition=True)

注注注解解解: 注注注意意意：每次调用 write_table，MaxCompute 都会在服务端生成一个文件。这一操作需要较大的时间开

销，同时过多的文件会降低后续的查询效率。因此，我们建议在使用 write_table 方法时，一次性写入多组

数据，或者传入一个 generator 对象。

3.2.8 删删删除除除表表表

>>> o.delete_table('my_table_name', if_exists=True) # 只有表存在时删除

>>> t.drop() # Table对象存在的时候可以直接执行drop函数

3.2. 表表表 13

剩余209页未读，继续阅读

liuzhang2012

粉丝: 2
资源: 2

PyODPS开发指南：安装与基础操作详解

ODPS参考手册

odps（MaxCompute） 权威详尽说明帮助手册

阿里云 odps 文档.pdf

PyPI 官网下载 | pyodps-0.7.10-cp27-cp27m-win32.whl

DThink ODPS SQL编程手册.pdf

aliyun-odps-python-sdk:ODPS Python SDK和数据分析框架

阿里云 odps 文档

Java连接ODPS文档和代码

阿里云odpsSql手册1

web.py官方文档

C#异构数据库转换工具源码

QSS教程详细解说.zip

1《华为基本法》.pdf

曲轴前油封压装机项目资料 西门子PLC HMI屏幕 原理图 说明书

基于STM32F407的RS232通信代码

基于向日葵8号的实时地球壁纸_SoEarth---a-real-time-Earth-Wallpaper.zip

小码哥 音视频编解码全部都有

先进pid控制matlab仿真-第2版.pdf

Java项目-基于微信小程序的高校餐厅食品留样管理系统（包括源码，数据库，教程）.zip

最新资源

odps（MaxCompute）权威详尽说明帮助手册

曲轴前油封压装机项目资料西门子PLC HMI屏幕原理图说明书

小码哥音视频编解码全部都有