如何搭建几台笔记本电脑的Hadoop集群

时间: 2024-05-05 22:11:57 浏览: 262

Hadoop集群安装

Hadoop集群安装的详细说明文档，實作七： Hadoop 叢集安裝前言您手邊有兩台電腦，假設剛剛操作的電腦為"主機一" ,另一台則為"主機二" 。則稍後的環境如下 • 管理Data的身份管理Job的身份 "主機一" namenode + datanode jobtracker + tasktracker "主機二" datanode tasktracker 這個實做會架設運作在叢集環境上的Hadoop，因此若是你的電腦還存在著之前的實做一的環境，請先作step 0，以移除掉之前的設定。 • 確認您"主機一"的 hostname 與 "主機二" 的 hostname，並將下面指令有主機一與主機二的地方作正確的取代 • 維持好習慣，請幫你待會要操作的主機設root密碼 • ~$ sudo passwd 清除所有在實做一作過的環境在 "主機一" （有操作過實做一的電腦）上操作 • ~$ cd ~ ~$ /opt/hadoop/bin/stop-all.sh ~$ rm -rf /tmp/hadoop-hadooper* ~$ sudo rm -rf /opt/hadoop ~$ rm -rf ~/.ssh step 0. 設定機器的ip & hostname 資訊 step 1. 設定兩台機器登入免密碼請注意我們實驗環境已經把 /etc/ssh/ssh_config裡的StrictHostKeyChecking改成no，下面的指令可以檢查，如果你的設定不同的話，請修改此檔會比較順。 • $ cat /etc/ssh/ssh_config |grep StrictHostKeyChecking StrictHostKeyChecking no 在"主機一" 上操作 • 接著將key產生並複製到其他node上 • ~$ ssh-keygen -t rsa -f ~/.ssh/id_rsa -P "" ~$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys ~$ scp -r ~/.ssh 主機二:~/ 測試看看是否登入免密碼 • ~$ ssh 主機二 ~$ ssh 主機一 ~$ exit ~$ exit ~$ 完成後請登入確認不用輸入密碼，（第一次登入需按 yes ，第二次就可以直接登入到系統），以免日後輸入密碼不隻手軟而已.... • step 2. 安裝java 為兩台電腦安裝java • "主機一" & "主機二" 都要操作以下指令 ◦ ~$ sudo apt-get purge java-gcj-compat ~$ sudo apt-get install sun-java6-bin sun-java6-jdk sun-java6-jre ~$ ssh 主機二前言清除所有在實做一作過的環境 step 0. 設定機器的ip & hostname 資訊 step 1. 設定兩台機器登入免密碼 step 2. 安裝java step 3. 下載安裝Hadoop到"主機一" step 4. 設定 hadoop-env.sh step 5. 設定 hadoop-site.xml step 6. 設定masters及slaves step 7. Hadoop_Home內的資料複製到其他主機上 step 8. 格式化HDFS step 9. 啟動Hadoop step 10. 停止hadoop 練習页码，1/5 Hadoop_Lab7_018 – Cloud Computing 2011-03-25 http://trac.nchc.org.tw/cloud/wiki/Hadoop_Lab7_018 ~$ sudo apt-get purge java-gcj-compat ~$ sudo apt-get install sun-java6-bin sun-java6-jdk sun-java6-jre ~$ exit step 3. 下載安裝Hadoop到"主機一" 先在"主機一" 上安裝，其他node的安裝等設定好之後在一起作 • ~$ cd /opt /opt$ sudo wget http://ftp.twaren.net/Unix/Web/apache/hadoop/core/hadoop-0.18.3/hadoop-0.18.3.t /opt$ sudo tar zxvf hadoop-0.18.3.tar.gz /opt$ sudo mv hadoop-0.18.3/ hadoop /opt$ sudo chown -R hadooper:hadooper hadoop step 4. 設定 hadoop-env.sh "主機一" 上用gedit 編輯 conf/hadoop-env.sh • /opt$ cd hadoop/ /opt/hadoop$ gedit conf/hadoop-env.sh 將以下資訊貼入 conf/hadoop-env.sh 檔內 export JAVA_HOME=/usr/lib/jvm/java-6-sun export HADOOP_HOME=/opt/hadoop export HADOOP_CONF_DIR=/opt/hadoop/conf export HADOOP_LOG_DIR=/tmp/hadoop/logs export HADOOP_PID_DIR=/tmp/hadoop/pids 注意，在此實做中，我們多設定了HADOOP_PID_DIR及HADOOP_LOG_DIR的參數，並且把值寫入到我們hadooper的家目錄中，此舉並非完全必要，但一個目的是介紹更多hadoop-env.sh內的參數，另一目的為讓log,pid等常變資料與hadoop家目錄分離 • step 5. 設定 hadoop-site.xml 第二個設定檔是 hadoop-site.xml，由於官方所提供的範例並無法直接執行，因此我們參考線上文件，做了以下的修改。 • /opt/hadoop# gedit conf/hadoop-site.xml 將以下資料取代掉原本的內容 <configuration> <property> <name>fs.default.name</name> <value>hdfs://主機一:9000/</value> <description> </description> </property> <property> <name>mapred.job.tracker</name> <value>主機一:9001</value> <description> </description> </property> <property> <name>hadoop.tmp.dir</name> <value>/tmp/hadoop/hadoop-${user.name}</value> <description> </description> </property> </configuration> 注意！我們多加了一個參數hadoop.tmp.dir，讓預設的中介資料存放在/tmp/hadoop/ 而不是/tmp/ 下，更多內容可以看 conf/hadoop-default.xml • 注意！fs.default.name = hdfs://主機一:9000/ ；而mapred.job.tracker = 主機一:9001，看出差異了嗎！一個有指 hdfs://，一個沒有，重要！易混淆。 • step 6. 設定masters及slaves 接著我們要編輯哪個主機當namenode, 若有其他主機則為datanodes • 編輯 conf/slaves ◦ 页码，2/5 Hadoop_Lab7_018 – Cloud Computing 2011-03-25 http://trac.nchc.org.tw/cloud/wiki/Hadoop_Lab7_018 /opt/hadoop$ gedit conf/slaves 原本內容只有localhost一行，請刪除此行並換上"主機一" 及"主機二" 的ip 主機一主機二 step 7. Hadoop_Home內的資料複製到其他主機上在"主機一" 上對遠端"主機二" 作開資料夾/opt/hadoop及權限設定 • /opt/hadoop$ ssh 主機二 "sudo mkdir /opt/hadoop" /opt/hadoop$ ssh 主機二 "sudo chown -R hadooper:hadooper /opt/hadoop" 複製"主機一" 的hadoop資料夾到"主機二" 上 • /opt/hadoop$ scp -r /opt/hadoop/* 主機二:/opt/hadoop/ step 8. 格式化HDFS 以上我們已經安裝及設定好 Hadoop 的叢集環境，接著讓我們來啟動 Hadoop ，首先還是先格式化hdfs，在"主機一" 上操作 • /opt/hadoop$ bin/hadoop namenode -format 執行畫面如： 09/03/23 20:19:47 INFO dfs.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = 主機一 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 0.18.3 STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/core/branches/branch-0.18 -r 736 ************************************************************/ 09/03/23 20:19:47 INFO fs.FSNamesystem: fsOwner=hadooper,hadooper 09/03/23 20:19:47 INFO fs.FSNamesystem: supergroup=supergroup 09/03/23 20:19:47 INFO fs.FSNamesystem: isPermissionEnabled=true 09/03/23 20:19:47 INFO dfs.Storage: Image file of size 82 saved in 0 seconds. 09/03/23 20:19:47 INFO dfs.Storage: Storage directory /tmp/hadoop/hadoop-hadooper/dfs/name has b 09/03/23 20:19:47 INFO dfs.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at 主機一 ************************************************************/ step 9. 啟動Hadoop bin/start-dfs.sh腳本會參照namenode上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上啟動 datanode。 • 在"主機一" 上，執行下面的命令啟動HDFS： • /opt/hadoop$ bin/start-dfs.sh http://主機一:50070/ - Hadoop DFS 狀態 • 页码，3/5 Hadoop_Lab7_018 – Cloud Computing 2011-03-25 http://trac.nchc.org.tw/cloud/wiki/Hadoop_Lab7_018 • ps: 然而JobTracker還沒啟動，因此 http://主機一:50030/ 網頁無法顯示 • bin/start-mapred.sh腳本會參照jobtracker上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上啟動 tasktracker。 • 在"主機一"執行下面的命令啟動Map/Reduce： • /opt/hadoop$ /opt/hadoop/bin/start-mapred.sh 啟動之後, jobtracker也正常運作囉！ • http://主機一:50030/ - Hadoop 管理介面 • 页码，4/5 Hadoop_Lab7_018 – Cloud Computing 2011-03-25 http://trac.nchc.org.tw/cloud/wiki/Hadoop_Lab7_018 • step 10. 停止hadoop 在"主機一" 上，執行下面的命令停止HDFS： • /opt/hadoop$ bin/stop-dfs.sh bin/stop-dfs.sh腳本會參照namenode上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上停止 namenode ◦ 在"主機一" 上，執行下面的命令停止Map/Reduce： • /opt/hadoop$ bin/stop-mapred.sh bin/stop-mapred.sh腳本會參照jobtracker上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上停止tasktracker。 ◦ 練習看 conf/hadoop-default.xml 的更多內容 • 和別人組隊，組成4台node的cluster，其中"主機一" 只當 namenode ，"主機二" 只當 jobtracker，而node3, node4 兩台電腦則身兼 datanode及tasktracker的工作。 • 页码，5/5 Hadoop_Lab7_018 – Cloud Computing 2011-03-25 http://trac.nchc.org.tw/cloud/wiki/Hadoop_Lab7_018 ### Hadoop集群安装详解 #### 实验环境与目标本次实验的目标是在两台计算机上搭建一个简单的Hadoop集群。这两台计算机分别为“主机一”和“主机二”。具体的角色分配如下： - **主机一**：承担`namenode`+`datanode`以及`jobtracker`+`tasktracker`的功能。 - **主机二**：承担`datanode`和`tasktracker`的功能。 #### 步骤概览整个安装过程分为以下几个主要步骤： 1. **清除旧环境**：确保当前环境中没有之前安装的Hadoop残留。 2. **配置IP与hostname**：为每台机器设置正确的IP地址与hostname。 3. **实现免密码登录**：通过SSH密钥实现两台机器间的免密码登录。 4. **安装Java**：为两台机器安装必要的Java运行环境。 5. **下载并安装Hadoop**：在“主机一”上下载并安装Hadoop软件包。 6. **配置Hadoop环境变量**：编辑`hadoop-env.sh`文件，设置必要的环境变量。 7. **配置Hadoop站点配置文件**：编辑`hadoop-site.xml`文件，配置Hadoop集群的关键参数。 8. **设定`masters`与`slaves`文件**：定义哪些机器将作为`namenode`、`datanode`、`jobtracker`与`tasktracker`。 9. **复制Hadoop目录**：将“主机一”上的Hadoop目录内容复制到“主机二”上。 10. **格式化HDFS**：格式化Hadoop分布式文件系统。 11. **启动Hadoop**：启动HDFS与MapReduce服务。 12. **停止Hadoop**：演示如何停止Hadoop服务。 #### 详细步骤说明 **Step 0. 清除旧环境** 确保“主机一”上不存在任何之前安装的Hadoop组件。可以通过执行以下命令来清除： ```bash cd ~ /opt/hadoop/bin/stop-all.sh rm -rf /tmp/hadoop-hadooper* sudo rm -rf /opt/hadoop rm -rf ~/.ssh ``` **Step 1. 配置IP与hostname** 根据实际情况为每台机器配置正确的IP地址与hostname。这一步非常重要，因为Hadoop需要这些信息来进行网络通信。 **Step 2. 实现免密码登录** 为了方便集群内部的操作，需要设置SSH密钥对，实现两台机器间的免密码登录。在“主机一”上执行以下命令： ```bash ssh-keygen -t rsa -f ~/.ssh/id_rsa -P "" cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys scp -r ~/.ssh 主机二:~/ ``` 然后测试是否可以免密码登录另一台机器。 **Step 3. 安装Java** Hadoop依赖于Java运行，因此需要在两台机器上安装Java。可以使用以下命令进行安装： ```bash sudo apt-get purge java-gcj-compat sudo apt-get install sun-java6-bin sun-java6-jdk sun-java6-jre ``` **Step 4. 下载并安装Hadoop** 在“主机一”上下载并解压Hadoop软件包。例如： ```bash cd /opt sudo wget http://ftp.twaren.net/Unix/Web/apache/hadoop/core/hadoop-0.18.3/hadoop-0.18.3.tar.gz sudo tar zxvf hadoop-0.18.3.tar.gz sudo mv hadoop-0.18.3/ hadoop sudo chown -R hadooper:hadooper hadoop ``` **Step 5. 配置Hadoop环境变量** 编辑`hadoop-env.sh`文件，添加必要的环境变量，例如： ```bash export JAVA_HOME=/usr/lib/jvm/java-6-sun export HADOOP_HOME=/opt/hadoop export HADOOP_CONF_DIR=/opt/hadoop/conf export HADOOP_LOG_DIR=/tmp/hadoop/logs export HADOOP_PID_DIR=/tmp/hadoop/pids ``` **Step 6. 配置Hadoop站点配置文件** 编辑`hadoop-site.xml`文件，设置Hadoop集群的关键参数，例如： ```xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://主机一:9000/</value> </property> <property> <name>mapred.job.tracker</name> <value>主机一:9001</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/tmp/hadoop/hadoop-${user.name}</value> </property> </configuration> ``` **Step 7. 设定`masters`与`slaves`文件** 编辑`slaves`文件，定义哪些机器将作为`datanode`或`tasktracker`： ```bash gedit conf/slaves ``` 将文件内容替换为“主机一”和“主机二”的IP地址。 **Step 8. 复制Hadoop目录** 在“主机一”上复制Hadoop目录到“主机二”上： ```bash ssh 主机二 "sudo mkdir /opt/hadoop" ssh 主机二 "sudo chown -R hadooper:hadooper /opt/hadoop" scp -r /opt/hadoop/* 主机二:/opt/hadoop/ ``` **Step 9. 格式化HDFS** 格式化HDFS，准备启动Hadoop集群： ```bash bin/hadoop namenode -format ``` **Step 10. 启动Hadoop** 启动Hadoop集群的服务： ```bash bin/start-dfs.sh bin/start-mapred.sh ``` 此时，可以通过浏览器访问`http://主机一:50070/`和`http://主机一:50030/`查看HDFS状态与JobTracker界面。 **Step 11. 停止Hadoop** 当需要停止Hadoop集群时，可以执行以下命令： ```bash bin/stop-dfs.sh bin/stop-mapred.sh ``` 通过上述步骤，我们已经成功地在两台计算机上搭建了一个基本的Hadoop集群，并且能够启动与停止该集群。

搭建多台笔记本电脑的Hadoop集群需要以下步骤： 1. 首先，确保所有笔记本电脑都已安装并配置好虚拟机。 2. 下载Hadoop软件包，并将其复制到每台笔记本电脑上。 3. 在每台笔记本电脑上配置Hadoop环境变量。可以通过修改hadoop-env.sh文件来完成此操作。 4. 配置每台笔记本电脑上的Hadoop核心配置文件（如core-site.xml、hdfs-site.xml等）。确保在其中指定正确的主机名和端口号。 5. 设置每台笔记本电脑上的Hadoop日志文件和数据目录。确保这些目录对Hadoop用户可写。 6. 在每台笔记本电脑上启动Hadoop集群服务，包括HDFS和YARN。 7. 验证Hadoop集群是否成功搭建。可以通过运行示例MapReduce作业或使用HDFS命令来进行验证。

阅读全文

如何搭建几台笔记本电脑的Hadoop集群

相关推荐

Hadoop集群搭建方法及详解

bboss教你快速搭建Hadoop集群

虚拟机搭建Hadoop集群操作文档

笔记本快速搭建Hadoop集群指南：从0到1详解

4G内存笔记本搭建Hadoop2.6集群指南：从安装到配置详解

vmware虚拟机下hadoop集群安装过程.pdf

手把手教你搭建Hadoop集群：虚拟机环境配置与Linux安装

Hadoop2.6集群环境搭建，原来4G内存也能任性一次

AI 管道从笔记本电脑到分布式集群的无缝扩展.pdf

4G内存下搭建Hadoop2.6集群教程：低配环境实践

hadoop-mutinode

hadoop-benchmark:Docker容器用于构建Hadoop基础架构并在其之上进行实验反馈控制循环

vagrant-cluster:这是一个用于在基于Vagrant和Ansible的云环境中置备计算集群的工具

Hadoop集群搭建详细教程与实践

虚拟机中搭建Hadoop集群步骤详解

《CSS样式表行为手册》中文chm最新版本

1-中国各地区-固定资产投资-房地产开发投资情况（1999-2020年）-社科数据.zip

1-中国各地区数字经济发展对环境污染的影响数据（2011-2021年）-社科数据.zip

1-中国各区县-工业行业企业数2004-2020年-社科数据.zip

最新推荐

详解搭建ubuntu版hadoop集群

ambari安装及搭建hadoop大数据集群

Linux_RedHat、CentOS上搭建Hadoop集群

课程设计 hadoop集群的安装与配置

基于CentOS7的Hadoop2.7.7集群部署+hive3.1.1+Tez0.9.1.doc

火炬连体网络在MNIST的2D嵌入实现示例

管理建模和仿真的文件

L2正则化的终极指南：从入门到精通，揭秘机器学习中的性能优化技巧

如何构建一个符合GB/T19716和ISO/IEC13335标准的信息安全事件管理框架，并确保业务连续性规划的有效性？

Angular插件增强Application Insights JavaScript SDK功能