一.大数据集群基础环境自动化部署,自动部署Apache Hadoop HA集群(完全分布式3节点)要求如下: 1.模块化自动部署包括:自动挂盘、hostname修改、host配置文件修改、关闭防火墙、设置SSH免密登录、配置JDK环境、配置Scala环境 2.将/dev/vdc进行分区,分区类型8e,创建逻辑卷,挂载到/data目录 3.自动创建用户(bigdata)和密码,指定bigdata为免密用户,自动创建安装目录:/data/apache /data/software并授权给bigdata,添加bigdata用户 sudo免密切换,修改/etc/security/limits.conf下各项资源(soft nproc hard nproc soft nofile had nofile)的参数为655350,修改vm.swappiness=1,关闭大透明页,设置时区,时间同步 4.ZK、Hadoop安装到/data/apache目录下,hadoop版本3.2.1, zookeeper 3.5.8,scala 2.12.2,下载的程序可以放到/data/software目录
时间: 2023-03-14 22:03:35 浏览: 126
BigData_AutomaticDeploy:大数据自动化部署,包括自动化部署hadoop、hive、hbase、spark、storm等等一系列组件
答:我可以帮助你自动部署Apache Hadoop HA集群(完全分布式3节点)。首先,我将模块化自动部署包括:自动挂盘、hostname修改、host配置文件修改、关闭防火墙、设置SSH免密登录、配置JDK环境、配置Scala环境。其次,我将将/dev/vdc进行分区,分区类型8e,创建逻辑卷,挂载到/data目录。再次,我将自动创建用户(bigdata)和密码,指定bigdata为免密用户,自动创建安装目录:/data/apache /data/software并授权给bigdata,添加bigdata用户 sudo免密切换,修改/etc/security/limits.conf下各项资源(soft nproc hard nproc soft nofile had nofile)的参数为655350,修改vm.swappiness=1,关闭大透明页,设置时区,时间同步。最后,我将ZK、Hadoop安装到/data/apache目录下,hadoop版本3.2.1, zookeeper 3.5.8,scala 2.12.2,下载的程序可以放到/data/software目录。
阅读全文