没有合适的资源？快使用搜索试试~ 我知道了~

首页Hadoop集群HDP-2.6.4的部署

Hadoop集群HDP-2.6.4的部署

ambari

hadoop

spark

需积分: 50 18 下载量 175 浏览量更新于2023-03-16 评论收藏 18.89MB DOCX 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

试读

64页

本文档详细描述了ambari-server的安装以及如何使用ambari安装HDP版本的大数据集群包括Hadoop，hbase，hive，spark等所有大数据组件的安装

资源详情

资源评论

资源推荐

大数据平台 HDP-2.6.4 安装与配置

标签（空格分隔）：大数据平台构建

 一：关于 HDP 的介绍

 二：系统环境介绍

 三：系统环境初始化

 四：安装 HDP-2.6.4 平台

 五：启用 NameNode HA 与 YARN HA

一：关于 HDP 的介绍

1.1：hdp 是什么

HDP 全称叫做 Hortonworks Data Platform。

　　Hortonworks 数据平台是一款基于 Apache Hadoop 的是开源数据平台，

提供大数据云存储，大数据处理和分析等服务。该平台是专门用来应对多来源

和多格式的数据，并使其处理起来能变成简单、更有成本效益。HDP 还提供了

一个开放，稳定和高度可扩展的平台，使得更容易地集成 Apache Hadoop 的

数据流业务与现有的数据架构。该平台包括各种的 Apache Hadoop 项目以及

Hadoop 分布式文件系统

（HDFS）、MapReduce、Pig、Hive、HBase、Zookeeper 和其他各种组

件，使 Hadoop 的平台更易于管理，更加具有开放性以及可扩展性。

　　官网地址为：http://zh.hortonworks.com/

1.2 hdp 的封装的大数据平台组件

二：系统环境介绍

2.1：系统主机名

系统： RHEL7.5 X64

---

172.17.100.11 ZY-001.flyfish

172.17.100.12 ZY-002.flyfish

172.17.100.13 ZY-003.flyfish

---

2.2: 安装整体步骤

1.集群服务器配置，包括安装操作系统、关闭防火墙、同步服务器时钟等；

2.外部数据库安装

3.安装 Ambari 管理器；

4.安装 HDP 集群；

5.集群完整性检查，包括 HDFS 文件系统、MapReduce、Hive 等是否可以

正常运行。

三：系统环境初始化

3.1：无密钥登录配置

做 root 用户无密钥认证

ssh-keygen ---一直敲回车到最后

cat id_rsa.pub >> authorized_keys

将所有的公钥导入 authorized_keys 分发到所有的机器的.ssh/ 下面

然后测试

3.2: 关闭 firewalld，iptables 与 selinux

yum install -y firewall* iptable*

(1) 关闭 firewalld

systemctl stop firewalld.service

systemctl disable firewalld.service

firewall-cmd --state

(2) 关闭 iptables

iptables -F

systemctl stop iptables.service

service iptables save

systemctl disable iptables.service

(3) 禁用 selinux

sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config

setenforce 0

getenforce 0

sestatus

重启机器

reboot

3.3 所有机器更改 centos7.5x64 的文件句柄数

vim /etc/security/limits.conf

---

* soft nofile 65535

* hard nofile 1029345

* soft nproc unlimited

* hard nproc unlimited

* soft memlock unlimited

* hard memlock unlimited

---

剩余63页未读，继续阅读

HDP-GPL-2.6.4.0-centos7-rpm.tar.gz

Hadoop2.6.4 安装

hadoop基础安装和配置，帮助初学者自学安装配置，有非常大的帮助

Ambari+HDP+HDP-UTILS 下载地址大全

Ambari 2.5.1 Repositories Ambari 2.5.0 Repositories Ambari 2.4.3 Repositories Ambari 2.4.2 Repositories Ambari 2.4.1 Repositories Ambari 2.4.0 Repositories HDP 2.6 Repositories HDP 2.5 Repositories HDP 2.4 Repositories HDP 2.3 Repositories HDP 2.2 Repositories

分割cd /root cp hadoop-huaweicloud-2.8.3-hw-39.jar /home/modules/hadoop- 2.8.3/share/hadoop/common/lib/ cp hadoop-huaweicloud-2.8.3-hw-39.jar /home/modules/hadoop-2.8.3/share/hadoop/tools/lib cp hadoop-huaweicloud-2.8.3-hw-39.jar /home/modules/hadoop2.8.3/share/hadoop/hƩ pfs/tomcat/webapps/webhdfs/WEB-INF/lib/ cp hadoop-huaweicloud-2.8.3-hw-39.jar /home/modules/hadoop-2.8.3/share/hadoop/hdfs/lib/

2. cp hadoop-huaweicloud-2.8.3-hw-39.jar /home/modules/hadoop-2.8.3/share/hadoop/common/lib/ 3. cp hadoop-huaweicloud-2.8.3-hw-39.jar /home/modules/hadoop-2.8.3/share/hadoop/tools/lib 4. cp hadoop-...

starting datanode, logging to /opt/software/hadoop/hadoop-2.9.2/logs/hadoop-root-datanode-node01.out

/opt/software/hadoop/hadoop-2.9.2/sbin/hadoop-daemon.sh start datanode ``` 当数据节点启动后，日志将被记录在`/opt/software/hadoop/hadoop-2.9.2/logs/hadoop-root-datanode-node01.out`文件中。你可以使用`...

为什么启动hadoop集群时总是显示localhost: mv: 无法获取"/opt/module/hadoop-3.3.4/logs/hadoop-atguigu-datanode-hadoop162.out.4" 的文件状态(stat): 没有那个文件或目录

1. 首先检查/opt/module/hadoop-3.3.4/logs目录下是否存在hadoop-atguigu-datanode-hadoop162.out.4文件，如果不存在，可以尝试重新启动Hadoop集群，看是否能够生成该日志文件。 2. 如果该日志文件存在，可以尝试...

Unresolved dependency: 'org.apache.hadoop:hadoop-MapReduce-client-core:jar:2.7.7'

<artifactId>hadoop-mapreduce-client-core <version>2.7.7 ``` Gradle: ```groovy implementation 'org.apache.hadoop:hadoop-mapreduce-client-core:2.7.7' ``` 如果你已经添加了这个依赖项但仍然出现错误，...

hadoop-eclipse-plugin-3.3.0

hadoop-eclipse-plugin-3.3.0是一个用于Hadoop数据处理平台的Eclipse插件。它提供了一个集成开发环境，使得Hadoop应用程序的开发更加高效和便捷。该插件支持在Eclipse中创建和运行Hadoop MapReduce作业。它还提供...

[admin@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh Starting namenodes on [hadoop102] hadoop102: /opt/software/hadoop-3.1.3/libexec/hadoop-functions.sh:行1842: /tmp/hadoop-admin-namenode.pid: 权限不够 hadoop102: ERROR: Cannot write namenode pid /tmp/hadoop-admin-namenode.pid. 如何解决

这个错误提示告诉你，你没有权限将 namenode 的进程 ID 写入到 /tmp/hadoop-admin-namenode.pid 文件中。解决方法： 1. 使用 sudo 命令以 root 权限运行 start-dfs.sh 脚本。 2. 使用 chmod 命令给 /tmp/hadoop-...

hadoop102: /opt/module/hadoop-3.1.3/libexec/hadoop-functions.sh:行1842: /tmp/hadoop-ys-namenode.pid: 权限不够 hadoop102: ERROR: Cannot write namenode pid /tmp/hadoop-ys-namenode.pid.

这个错误是因为启动hadoop namenode时，pid文件/tmp/hadoop-ys-namenode.pid没有写入权限。你可以尝试以下几种方法来解决这个问题： 1. 检查/tmp目录的权限，确保当前用户有写入权限。 2. 手动创建/tmp/hadoop-ys-...

hadoop-common-cdh

Hadoop-Common-CDH指的是Cloudera Distribution for Hadoop (CDH)中的Hadoop Common组件。...通过使用Hadoop-Common-CDH，用户可以更加方便地构建和管理自己的Hadoop集群，并进行各种大数据处理和分析任务。

hadoop集群搭建xshell

以下是hadoop集群搭建xshell的步骤： 1. 首先，您需要下载和安装Xshell软件，可以从官方网站或其他可靠的下载站点下载。 2. 在Xshell中创建一个新的会话，输入您的主机IP地址和端口号，选择SSH协议，并输入您的...

安装 Hadoop-Eclipse-Plugin

通过Hadoop-Eclipse-Plugin的视图，可以方便地管理和操作Hadoop集群，包括上传和下载文件，提交和监控MapReduce任务等。安装Hadoop-Eclipse-Plugin后，可以更加方便地开发和调试Hadoop应用程序，提高工作效率。 ...

GoodJeek

粉丝: 0
资源: 1

上传资源快速赚钱

我的内容管理收起

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

会员权益专享

Hadoop集群HDP-2.6.4的部署

评论0

会员权益专享

最新资源

Hadoop集群HDP-2.6.4的部署

评论0

HDP-GPL-2.6.4.0-centos7-rpm.tar.gz

Hadoop2.6.4 安装

Ambari+HDP+HDP-UTILS 下载地址大全

starting datanode, logging to /opt/software/hadoop/hadoop-2.9.2/logs/hadoop-root-datanode-node01.out

为什么启动hadoop集群时总是显示localhost: mv: 无法获取"/opt/module/hadoop-3.3.4/logs/hadoop-atguigu-datanode-hadoop162.out.4" 的文件状态(stat): 没有那个文件或目录

hadoop-on-K8s

jdk1.7配hadoop2.6.4可以吗

grep hadoop-hadoop-namenode-master.log

hadoop-eclipse-plugin-2.7.4-jar

hadoop-eclipse-plugin2.10.1

hadoop-eclipse-plugin-2.10

怎么下载hadoop-eclipse-plugin-3.3.1，

Unresolved dependency: 'org.apache.hadoop:hadoop-MapReduce-client-core:jar:2.7.7'

hadoop-eclipse-plugin-3.3.0

[admin@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh Starting namenodes on [hadoop102] hadoop102: /opt/software/hadoop-3.1.3/libexec/hadoop-functions.sh:行1842: /tmp/hadoop-admin-namenode.pid: 权限不够 hadoop102: ERROR: Cannot write namenode pid /tmp/hadoop-admin-namenode.pid. 如何解决

hadoop102: /opt/module/hadoop-3.1.3/libexec/hadoop-functions.sh:行1842: /tmp/hadoop-ys-namenode.pid: 权限不够 hadoop102: ERROR: Cannot write namenode pid /tmp/hadoop-ys-namenode.pid.

hadoop-common-cdh

hadoop集群搭建xshell

安装 Hadoop-Eclipse-Plugin

会员权益专享

最新资源