Azkaban 3.78.0 自编译版本:亲测可用

需积分: 9 3 下载量 189 浏览量 更新于2024-09-07 收藏 118B TXT 举报
"azkaban-3.78.0.zip已编译版是一个由用户自行编译并测试可用的Azkaban版本。这个版本包含了四个主要文件:azkaban-db、azkaban-exec-server、azkaban-solo-server和azkaban-web-server。在导入数据库表时,需要注意如果表不存在,需要将数据表的字符集设置为latin1,以确保导入成功,特别是在已经修改过数据库编码为utf-8的情况下。下载链接已被提供,但可能需要通过特定的网盘服务访问。" Azkaban是一款流行的工作流管理系统,用于调度和执行复杂的批处理任务。在这个3.78.0版本中,用户已经完成了编译过程,确保了在实际环境中的可运行性。以下是关于Azkaban和这个特定版本的一些关键知识点: 1. **Azkaban概述**: - Azkaban是一个用于大数据处理的作业调度系统,最初由LinkedIn开发并开源。 - 它支持多项目管理,能够定义作业依赖关系,形成作业流,并提供Web界面进行作业管理和监控。 2. **主要组件**: - **azkaban-db**:包含了Azkaban的数据库脚本和配置,用于存储作业、项目和执行信息。 - **azkaban-exec-server**:执行服务器,负责接收来自Web服务器的作业执行请求,处理作业的执行逻辑。 - **azkaban-solo-server**:单节点部署模式,将Web服务器和执行服务器的功能整合在一个进程中,适合小型团队或个人使用。 - **azkaban-web-server**:Web服务器,提供用户界面,用于作业的提交、管理、监控和调度。 3. **数据库配置**: - 在导入Azkaban的数据库脚本时,若遇到编码问题,可能需要将数据库字符集调整为latin1,尤其是在已设置为utf-8的情况下。这是因为Azkaban的某些默认脚本可能基于latin1编码,与utf-8不兼容。 - 使用latin1字符集可能会影响对非ASCII字符的支持,但可以解决导入问题。在部署前,应根据项目需求选择合适的字符集。 4. **安装与部署**: - 下载完成后,用户需按照Azkaban官方文档提供的步骤进行解压、配置和启动服务。 - 配置文件通常包括`conf/azkaban.properties`,需要根据实际环境设定数据库连接、服务器端口等参数。 - 启动后,可以通过Web界面访问和管理作业。 5. **使用与管理**: - 通过Web界面,用户可以创建项目、上传作业脚本(如Hadoop的MapReduce作业)、定义作业依赖,并安排调度。 - Azkaban提供了丰富的日志和监控功能,帮助用户跟踪作业状态和错误。 6. **注意事项**: - 自编译版本可能存在与官方稳定版本的差异,使用时要注意兼容性和稳定性问题。 - 由于下载链接指向的是百度网盘,可能需要安装相应的客户端或使用提取码(w49k)来访问资源。 Azkaban-3.78.0编译版提供了一个完整的Azkaban工作流管理系统,适用于需要定制或者有特殊需求的用户。在部署和使用过程中,需要注意数据库的字符集配置,以确保数据的正确导入和操作。
2020-05-22 上传
版本:3.38,解压后,配置自己的环境可直接用 azkaban-3.38.0\azkaban-db azkaban-3.38.0\azkaban-exec-server azkaban-3.38.0\azkaban-solo-server azkaban-3.38.0\azkaban-web-server ----------------后续步骤------------------ 1.创建数据库并导入基本数据 (1)创建数据库 create database azkaban; (2)mysql授权 GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION; FLUSH PRIVILEGES; (3)导入数据 use azkaban; source /opt/azkaban-3.38.0/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql 2. ssl配置 cd /opt/azkaban-3.38.0\azkaban-web-server keytool -keystore keystore -alias jetty -genkey -keyalg RSA 输入密钥库口令: 再次输入新口令: 您的名字与姓氏是什么? [Unknown]: xue 您的组织单位名称是什么? [Unknown]: xue 您的组织名称是什么? [Unknown]: xue 您所在的城市或区域名称是什么? [Unknown]: beijing 您所在的省/市/自治区名称是什么? [Unknown]: beijing 该单位的双字母国家/地区代码是什么? [Unknown]: CN CN=xue, OU=xue, O=xue, L=beijing, ST=beijing, C=CN是否正确? [否]: Y 输入 的密钥口令 (如果和密钥库口令相同, 按回车): 3.修改azkaban-exec-server下配置文件,引入mysql的依赖包 (1)将azkaban-solo-server下conf、plugins、sql目录复制到azkaban-exec-server目录下 cd azkaban-3.38.0/azkaban-solo-server/ cp -a ./conf ./plugins ./sql ../azkaban-exec-server (2)修改azkaban-exec-server/conf/的azkaban.properties文件 # Azkaban Personalization Settings azkaban.name=master azkaban.label=My Local Azkaban azkaban.color=#FF3601 azkaban.default.servlet.path=/index web.resource.dir=web/ #修改时区 default.timezone.id=Asia/Shanghai # Azkaban UserManager class user.manager.class=azkaban.user.XmlUserManager #修改为绝对路径,否则可能找不到 user.manager.xml.file=/opt/azkaban-3.38.0/azkaban-exec-server/conf/azkaban-users.xml # Loader for projects executor.global.properties=/opt/azkaban-3.38.0/azkaban-exec-server/conf/global.properties azkaban.project.dir=projects database.type=mysql mysql.port=3306 mysql.host=master mysql.database=azkaban mysql.user=root mysql.password=123456 mysql.numconnections=100 (其他默认) 4. 在conf目录下新建log4j.properties文件 [root@master azkaban-exec-server]# vim conf/log4j.properties 复制以下内容到log4j文件: log4j.rootLogger=INFO, Console log4j.logger.azkaban=INFO, server log