阿里巴巴ODPS开放数据处理服务平台详解

需积分: 20 132 浏览量更新于2024-07-23 3 收藏 925KB PDF 举报

阿里巴巴开放数据处理服务ODPS 阿里巴巴开放数据处理服务ODPS（Open Data Processing Service）是一种基于飞天分布式系统构建的海量数据处理和分析服务平台，具有 PB 级别的数据处理能力。ODPS 主要适用于实时性要求不高的海量数据处理，如数据分析、海量数据统计、数据挖掘和商业智能领域。 ODPS 的主要功能包括： 1. 数据通道：提供高并发的数据上传下载服务，支持海量数据的快速传输和处理。 2. SQL 计算：提供了强大的 SQL 处理能力，支持复杂的数据分析和处理操作。 3. 安全：ODPS 提供了功能强大的安全服务，为用户的数据安全提供保护，确保数据的机密性、完整性和可用性。 ODPS 的应用场景包括： 1. 数据分析：ODPS 可以对海量数据进行快速分析和处理，支持复杂的数据分析和挖掘操作。 2. 海量数据统计：ODPS 可以对海量数据进行快速统计和分析，支持多种类型的数据统计和分析操作。 3. 数据挖掘：ODPS 可以对海量数据进行快速挖掘和分析，支持复杂的数据挖掘和机器学习操作。 4. 商业智能：ODPS 可以对海量数据进行快速分析和处理，支持商业智能应用和商业分析操作。 ODPS 的优点包括： 1. 高性能：ODPS 具有 PB 级别的数据处理能力，能够快速处理海量数据。 2. 高可靠性：ODPS 提供了强大的安全服务和数据备份机制，确保数据的安全和可用性。 3. 高灵活性：ODPS 支持多种数据源和类型，能够满足不同的应用场景和需求。 ODPS 的应用领域包括： 1. 数据分析和挖掘 2. 海量数据统计和分析 3. 商业智能和商业分析 4. 数据挖掘和机器学习 ODPS 的技术特点包括： 1. 分布式计算：ODPS 基于飞天分布式系统构建，能够对海量数据进行快速处理和分析。 2. 高性能存储：ODPS 支持多种数据存储方式，包括分布式文件系统和关系数据库。 3. 安全机制：ODPS 提供了功能强大的安全服务，确保数据的机密性、完整性和可用性。 ODPS 是一种功能强大且灵活的海量数据处理和分析服务平台，能够满足不同应用场景和需求的需求。

Upload/Download Data

ODPS 提供了内置上传下载数据的命令，方便用户将本地数据文件导入到 ODPS 表中。

使用方式：

配置操作：编辑 plugins/tunnel/plugin.ini 文件

endpoint=http://dt.odps.aliyun.com ：指定 Tunnel 服务的 endpoint

col.delimiter=44 : 指定列分隔符，默认为 44 ","

row.delimiter=10 : 指定列分隔符，默认为 10 "\n"

null.indicator=NULL : 指定空字符串，默认为空串。如果指定空值，可以把

此行删除掉

date.format=yyyy-mm-dd hh:mi:ss : 指定日期的 format 格式，默认为 yyyy-mm-dd hh:mi:ss

bad.discard=false ：指定是否忽略脏数据，默认为 false，

命令说明：

 有关于 ODPS 客户端的使用方式请参考 ODPS Console 相关介绍。对于如何快速配置客

户端请参考快速开始

 此命令是 ODPS为用户提供的对 ODPS Tunnel服务的封装。请不要混淆Upload/Download

Data 命令和 Tunnel 服务的概念。有关 Tunnel 服务的介绍，请参考 Tunnel 部分的介绍。

 当表中已经存在数据时，如果再次向表中导入数据，新导入的数据会以追加(Append)的

方式被添加到表中。若追加失败，不会污染原有的数据。

 如果没有配置 null.indicator，表示空串“”为 NULL。

 上传的本地数据文件最大为 100M。

 bad.discard 指定是否忽略脏数据，默认值为 false，遇到脏数据时直接报错，提示脏数据

所在行号及其他相关信息，本次导入数据失败，不会导入任何数据，表内的原始数据仍

然有效。值为 true 时，忽略所有脏数据，脏数据对应的列会被赋值为 NULL。在数据导

入完成时，提示脏数据行数。脏数据的定义包括：多列，少列，某列的数据无法转换为

对应列的格式，例如无法转换为 double，bigint，datetime 类型。

上传下载命令格式：

UPLOAD <tablename> [PARTITION(partition_spec)] FROM <filepath>;

DOWNLOAD <tablename> [PARTITION(partition_spec)] TO <filepath>;

说明：

 tablename: 数据上传或下载的表名；

 PARTITION(partition_spec): 指定分区值。其格式如： partition(pt=„123455‟,

ds=„23232323‟)。此时，将数据导入此分区中；

 filepath: 本地文件路径，支持相对路径；

Show Instances

-l,--limit <arg> maximum log process number

-r,--reverse reverse the sort order of results

-R,--running select running processes

下面给出使用 log 命令的示例：假设存在表，运行如下 SQL：

SELECT CAST(sale_date AS DATETIME) FROM sale_detail;

-- 这是一个会在运行时报错的 ODPS SQL，失败原因会在后续章节中涉及。

-- 在这里，用户可以先不必关心失败的原因。

得到如下格式输出：

odps@ test_project>select cast(sale_date as datetime) from sale_detail;

ID = 20140116065603291go4musna

...

FAILED: ODPS-0121095:Invalid arguments - in function cast, string datetime's

format must be yyyy-mm-dd hh:mi:ss, input string is:201310,

column hint is 'sale_detail.sale_date'

查看这个 SQL 的每个进程的状态：

odps@ odps_test_smode>log list 20140116065603291go4musna;

ProcessID StartTime Duration Status

M1_Stg1#0_0 - 0s Failed

如果您对 SQL 的分布式实现方式不够了解，可以忽略第一项”M1_Stg1#0_0”展示的意义，

但请注意这个字段能够唯一标识 SQL 执行过程中的每个进程。这一项表示了 ODPS SQL 的

执行逻辑，不在本章的介绍范围内。第二列表示每个进程启动的时间，对于失败的进程，不

显示起始时间。第三项表示每个进程工作的时间(由于示例中处理的数据量很少，只有两行

数据，因此执行时间不足 1 秒)。最后一列”Failed”表示进程的状态为失败。

查看进程的 stdout 和 stderr：

odps@ odps_test_smode>log get M1_Stg1#0_0 -type stderr;

agrv 0 = cgcreate

agrv 1 = -a

agrv 2 = admin

agrv 3 = -g

agrv 4 = memory

odps@ odps_test_smode>log get M1_Stg1#0_0 -type stdout;

LimitKey:core

SetLimit - core:unlimited

[2014-01-16 14:56:45.456484] ---------- Run Task: M1_Stg1#0 ----------

需要特别注意的是，此处执行 log get 命令时，不必再指定 InstanceID 了。Log 命令会默

剩余70页未读，继续阅读

syeerzy

粉丝: 145
资源: 8

阿里巴巴ODPS开放数据处理服务平台详解

pyodps文档

ODPS参考手册

阿里巴巴大数据与云计算技术分享 阿里云ODPS云计算产品介绍简介 阿里云开放数据处理服务ODPS介绍 共33页.pptx

阿里巴巴大数据处理与ODPS：互联网思维下的创新

阿里巴巴ODPS：大规模数据处理服务详解

解析阿里云大数据服务——ODPS

阿里巴巴大数据解决方案.pdf

ODPS：阿里巴巴的分布式关系型计算实践

ODPS MapReduce：大规模数据处理与开放服务探索

DataX：阿里巴巴的数据同步工具

最新资源

阿里巴巴大数据与云计算技术分享阿里云ODPS云计算产品介绍简介阿里云开放数据处理服务ODPS介绍共33页.pptx