Greenplum架构与实践：备份、配置与MapReduce应用

4星 · 超过85%的资源需积分: 27 50 浏览量更新于2024-09-11 收藏 218KB PDF 举报

Greenplum是一种分布式关系型数据库系统，它扩展了PostgreSQL的核心功能，以处理大规模的数据处理和分析任务。Greenplum的独特架构使其能够水平扩展，通过将数据分布到多个segment节点，每个节点拥有独立的硬件资源，如网卡(NIC)、物理CPU和磁盘控制器，确保各节点间的隔离性和性能优化。备份与恢复是Greenplum管理的重要环节。Greenplum提供两种主要的备份方法：gp_dump和gp_crondump。gp_dump支持并行备份，即Master和Segment节点同时进行，提高备份效率。相比之下，PostgreSQL的pg_dump和pg_dumpall虽然也适用，但它们将所有数据写入master节点的单个文件，限制了并行处理能力。白皮书的第21章详细介绍了这两种备份恢复策略。 Greenplum的安全性体现在Master节点的$MASTER_DATA_DIRECTORY下的pg_hba.conf文件，该文件定义了主机的远程访问策略，确保数据的安全性。数据库的运行参数则存储在postgresql.conf文件中，可以通过gpstart、gpstop等命令进行启动、关闭、重启和参数调整。其中，gpstart-m用于只启动Master节点，而gpstop-u则是修改参数后不重启数据库，直接加载新设置。在Greenplum集群中进行参数同步时，管理员可以在Master节点上使用gpssh-f工具，通过SSH连接到Segment节点，执行命令来批量更新postgresql.conf文件，这显示了Greenplum集群管理的灵活性。 Greenplum还支持MapReduce编程模型，将复杂的并行计算任务分解为三个阶段：INPUT、MAP和REDUCE。INPUT阶段负责读取数据并将其转化为(key, value)对，MAP阶段对这些对进行转换，生成新的(key, output_list)对，最后REDUCE阶段根据key进行汇总计算，生成最终结果。输入数据可以来自文本文件、数据库或其他多种格式，用户可以根据需求自定义MAP和REDUCE函数，REDUCE部分也可利用内置函数，而OUTPUT阶段可以选择将结果写回数据库、标准输出或者文件。编程时，INPUT阶段仅关注列的处理，而key的概念在这一阶段并不显著，因为它是后续处理过程中的关键。这种设计强调了数据的流动和处理逻辑，使得Greenplum在大数据处理场景中表现出高效和灵活性。 Greenplum作为分布式数据库系统，提供了强大的扩展性、备份与恢复策略、灵活的配置管理和MapReduce编程支持，适用于处理大规模数据集和复杂的数据分析任务。

一般地，greenplum 的每个 segment 节点对应一个网口 NIC，一个物理 CPU，一个磁盘控制器，以便同

机器的多个 segment 之间互不影响。

greenplum 的备份，提供了 gp_dump 做并行备份，master 和 segment 节点同时执行备份操作，另外

gp_crondump 会定期执行备份操作；

支持 PostgreSQL 的 pg_dump 和 pg_dumpall 命令，但是其将所有的数据写成一个文件保存在 master 上，

使用受限。

（在白皮书的第 21 章节备份与恢复有详细描述）

在 master 节点的$MASTER_DATA_DIRECTORY 目录下，pg_hba.conf 文件保存了主机远程访问策略；

postgresql.conf 文件配置了数据库运行的参数。

greenplum 数据库的启动 gpstart，关闭 gpstop，重启 gpstop -r，强制关闭 gpstop -f ，修改参数后不重

启 DB 加载参数 gpstop -u ，仅启动 mastergpstart -m；

在 master 节点修改 postgresql.conf 文件，想所有 segment 同时修改 postgresql.conf 文件的操作是：

gpssh -f ~/seg_hosts "echo 'parameter=value' | cat - >> /gpdata/p*/*/postgresql.conf"

--------------------------------------------------------------------------------------------------------------

用 greenplum 实现 mapreduce：

INPUT 部分将输入拆分成（key，value）对儿，送给 MAP 部分；MAP 部分将其生成新的

（key，output_list）对儿，然后送给 reduce 部分；由 reduce 部分安照 key 分组运算得到结果。

比如 INPUT 的输入时 text 文件，输出是（NULL，行），MAP 的输出是（单词，个数），REDUCE 的输

出是（单词，汇总个数）。

输入的数据可以是多种文件格式的文件以及数据库中的数据，MAP 和 REDUCE 部分的函数自定义，

REDUCE 也可以用内置的函数，OUTPUT 可以写入数据库、标准输出或文件。注意，在编程时，INPUT

的结果只有列的概念，而没有 key 的概念，以行为单位发送给每个 MAP，在 MAP 中定义的输出的 key 才

是真正的 key，REDUCE 正是靠这个 key 执行操作的，当然 REDUCE 也可以声明 KEYS 都包括哪些入参。

详细的，INPUT 函数的源的关键词可以是 FILE/GPFDIST/TABLE/QUERY/EXEC，如果没指定

COLUMNS，那么默认认为整个文件只有一列。MAP 函数的输入和输出都是 key/value 形式的 text 类型，

除非指定 PARAMETERS 和 RETURNS 声明，LANGUAGE 声明了用 perl 还是 python 语言，如果一次

MAP 函数会有多个返回值就用 yield，否则要声明 MODE 为 SINGLE，返回注意 yield 的用法（执行到此

返回，下次执行函数时从 yield 的下一句开始执行，可用来循环追加数据列表）。另外，gpmapreduce 命

令可以通过-k 参数指定 key 值，作为 map 的入参 key。

REDUCE 有一些内置函数，比如 IDENTITY/SUM/AVG/COUNT/MIN/MAX，这些内置函数的入参名称

是 key 和 value。REDUCE 实现与 MAP 实现相比略微复杂，因为它需要考虑将多条返回记录合并，因此

需要在 REDUCE 函数里面定义一次迁移（TRANSITION）函数，还需要定义 FINALIZE 函数，初始化参

数 INITIALIZE，以及可选的合并函数 CONSOLIDATE。每个 REDUCE 的输入对应一个迁移，为了记录

当前迁移的位置，迁移函数需要定义变量 state，由 INITIALIZE 赋初值，每次 TRANSITION 的返回值就

是下一次 TRANSITION 的 state 输入，进行按 key 分类的每个 key 下所有输入的迁移，当最后一条输入

在迁移中处理完后，将 state 值传递给 FINALIZE 函数，触发 FINALIZE 工作，返回多个结果。REDUCE

的参数一般还是 key/value，而传给迁移函数的参数一般是 state/value。可选函数 CONSOLIDATE 的作

用是将多个 state 合并为一个。REDUCE 的输出不仅可以是标准输出，还可以是数据库表 TABLE 或文件

FILE。要是往数据库里写的话，需要指定 TABLE 标识，同时 MODE 标识指定为 APPEND 或

REPLACE，含义是追加或重写，建表的分布默认是 REDUCE 的 keys，也可以指定标识 KEYS 以重新分

布。特别注意如果输出是 FILE 的话，文件不能已存在。

对于有的大型任务来说，一级 mapreduce 是不行的，多级 mapreduce 需要 TASK 支持，每个 TASK 一

下载后可阅读完整内容，剩余4页未读，立即下载

gugu

粉丝: 1
资源: 5

Greenplum架构与实践：备份、配置与MapReduce应用

greenplum4.2管理员手册

GreenPlum使用手册.pdf

GreenPlum入门学习手册

GreenPlum学习笔记：create or replace function创建函数

学习笔记：深入了解Greenplum数据库

大数据学习笔记.docx

greenplum-database管理员指南6.0.0.pdf

greenplum 5.11.1

postgresql greenplum建表语句超详细

Greenplum数据库架构.pdf

最新资源