Azkaban2.5安装教程:从环境到SSL配置

4星 · 超过85%的资源 需积分: 9 51 下载量 67 浏览量 更新于2024-09-08 收藏 22.62MB DOCX 举报
"Azkaban2.5安装手册包含了如何安装和配置Azkaban2.5版本的Web服务器和Executor服务器,以及相关的SQL脚本。提供的安装包包括azkaban-executor-server-2.5.0.tar.gz、azkaban-sql-script-2.5.0.tar.gz和azkaban-web-server-2.5.0.tar.gz。在安装过程中需要注意,使用Ctrl+C无法停止服务,需使用kill-9命令。同时,环境准备要求Java JDK 1.8或1.7,并需要预先安装MySQL数据库。" **Azkaban简介** Azkaban是一个工作流管理和调度系统,主要用于大数据处理流程的调度,如Hadoop作业。它提供了一个用户友好的Web界面来上传、组织、执行和监控工作流。 **环境准备** 1. **Java环境**: Azkaban依赖于Java开发工具集(JDK)1.8或1.7。确保你的系统已经安装了正确的JDK版本。 2. **MySQL数据库**: Azkaban使用MySQL存储项目、工作流和执行信息。你需要先安装MySQL并创建一个名为`azkaban`的数据库。 **Azkaban安装步骤** 1. **下载安装包**: 获取Azkaban2.5版本的Web服务器、Executor服务器和SQL脚本安装包。 2. **解压安装包**: 分别解压`azkaban-web-server-2.5.0.tar.gz`和`azkaban-executor-server-2.5.0.tar.gz`到你的服务器目录。 3. **导入SQL脚本**: 解压`azkaban-sql-script-2.5.0.tar.gz`,然后使用MySQL客户端将解压后的SQL脚本(如`create-all-sql-2.5.0.sql`)导入到`azkaban`数据库中。 **Azkaban配置** 1. **修改配置文件**: 对`azkaban-web-server-2.5.0/conf/azkaban.properties`和`azkaban-executor-server-2.5.0/conf/azkaban.properties`进行必要的配置,例如设置数据库连接信息。 2. **创建SSL配置**: 如果需要启用HTTPS,可以使用`keytool`创建Keystore并配置Jetty服务器。 **启动与管理** 1. **启动Azkaban**: 使用`./azkaban-web-start.sh`启动Web服务器,使用`./azkaban-executor-start.sh`启动Executor服务器。 2. **服务管理**: 注意,使用Ctrl+C无法停止服务,必须通过`kill -9`命令查找并杀死后台进程。 3. **监控与维护**: 通过Web界面监控Azkaban的工作流状态,必要时使用`kill -9`命令关闭服务。 **安全注意事项** 在生产环境中,应避免使用`root`用户进行数据库访问,建议创建特定的Azkaban用户并分配相应的权限。示例中的授权命令展示了如何为`root`用户赋予所有数据库的权限,但实际操作中需要根据实际情况调整。 **总结** Azkaban2.5的安装涉及到多个步骤,包括环境配置、SQL脚本导入、配置文件修改和服务启动。在部署过程中需留意特殊的服务停止方法,并考虑安全性问题,如数据库用户的权限设置。遵循这些步骤,你可以成功安装并运行Azkaban2.5版本,以管理你的大数据处理工作流。
2020-05-22 上传
版本:3.38,解压后,配置自己的环境可直接用 azkaban-3.38.0\azkaban-db azkaban-3.38.0\azkaban-exec-server azkaban-3.38.0\azkaban-solo-server azkaban-3.38.0\azkaban-web-server ----------------后续步骤------------------ 1.创建数据库并导入基本数据 (1)创建数据库 create database azkaban; (2)mysql授权 GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION; FLUSH PRIVILEGES; (3)导入数据 use azkaban; source /opt/azkaban-3.38.0/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql 2. ssl配置 cd /opt/azkaban-3.38.0\azkaban-web-server keytool -keystore keystore -alias jetty -genkey -keyalg RSA 输入密钥库口令: 再次输入新口令: 您的名字与姓氏是什么? [Unknown]: xue 您的组织单位名称是什么? [Unknown]: xue 您的组织名称是什么? [Unknown]: xue 您所在的城市或区域名称是什么? [Unknown]: beijing 您所在的省/市/自治区名称是什么? [Unknown]: beijing 该单位的双字母国家/地区代码是什么? [Unknown]: CN CN=xue, OU=xue, O=xue, L=beijing, ST=beijing, C=CN是否正确? [否]: Y 输入 的密钥口令 (如果和密钥库口令相同, 按回车): 3.修改azkaban-exec-server下配置文件,引入mysql的依赖包 (1)将azkaban-solo-server下conf、plugins、sql目录复制到azkaban-exec-server目录下 cd azkaban-3.38.0/azkaban-solo-server/ cp -a ./conf ./plugins ./sql ../azkaban-exec-server (2)修改azkaban-exec-server/conf/的azkaban.properties文件 # Azkaban Personalization Settings azkaban.name=master azkaban.label=My Local Azkaban azkaban.color=#FF3601 azkaban.default.servlet.path=/index web.resource.dir=web/ #修改时区 default.timezone.id=Asia/Shanghai # Azkaban UserManager class user.manager.class=azkaban.user.XmlUserManager #修改为绝对路径,否则可能找不到 user.manager.xml.file=/opt/azkaban-3.38.0/azkaban-exec-server/conf/azkaban-users.xml # Loader for projects executor.global.properties=/opt/azkaban-3.38.0/azkaban-exec-server/conf/global.properties azkaban.project.dir=projects database.type=mysql mysql.port=3306 mysql.host=master mysql.database=azkaban mysql.user=root mysql.password=123456 mysql.numconnections=100 (其他默认) 4. 在conf目录下新建log4j.properties文件 [root@master azkaban-exec-server]# vim conf/log4j.properties 复制以下内容到log4j文件: log4j.rootLogger=INFO, Console log4j.logger.azkaban=INFO, server log