ubuntu安装单机Hadoop和伪分布式安装

Ubuntu上安装单机Hadoop和伪分布式环境通常用于本地测试和学习，以下是简要步骤：

**单机模式安装（SingleNode Mode）**：
1. **更新系统**：打开终端并运行 `sudo apt-get update && sudo apt-get upgrade`。
2. **安装基本依赖**：`sudo apt-get install -y curl tar openssh-server vim`
3. **下载Hadoop源码**：访问Apache Hadoop官网下载适用于Ubuntu的版本，比如 `wget http://www.apache.org/dist/hadoop/common/hadoop-3.x.x/hadoop-3.x.x.tar.gz`。
4. **解压并配置**：`tar -xzf hadoop-3.x.x.tar.gz`，进入目录后修改配置文件如 `conf/core-site.xml`、`hdfs-site.xml` 和 ` yarn-site.xml`。
5. **设置环境变量**：编辑 `.bashrc` 或 `.bash_profile` 添加Hadoop环境变量。
6. **启动服务**：`cd hadoop-3.x.x`，然后运行 `sbin/start-dfs.sh` 和 `sbin/start-yarn.sh` 启动HDFS和YARN。

**伪分布式模式安装（pseudo-distributed mode）**：
1. 还是在单机模式下，不需要实际部署守护进程，而是模拟集群行为。
2. 配置 `conf/hadoop-env.sh`，设置`JAVA_HOME`、`HADOOP_HOME` 等，并将`HADOOP_CONF_DIR`指向配置文件夹。
3. 修改`conf/hadoop-site.xml`，设置`<property>`标签，如 `<property> <name>fs.defaultFS</name> <value>file:///</value></property>`，表示所有数据存储在本地文件系统。
4. 使用命令行工具如 `hadoop fs`, `hadoop jar`，它们会在本地执行，模拟集群操作。