Ubuntu上使用Hadoop指令

在Ubuntu上使用Hadoop，需要先安装Hadoop，并设置环境变量。安装完成后，可以使用以下指令：
1. 启动Hadoop：`start-all.sh`
2. 关闭Hadoop：`stop-all.sh`
3. 创建一个Hadoop文件夹：`hdfs dfs -mkdir /foldername`
4. 上传本地文件到Hadoop：`hdfs dfs -put /path/to/localfile /path/to/hadoop/folder`
5. 下载Hadoop文件到本地：`hdfs dfs -get /path/to/hadoop/file /path/to/local/folder`
6. 列出Hadoop文件夹中的所有文件：`hdfs dfs -ls /path/to/hadoop/folder`
7. 运行Hadoop MapReduce任务：`hadoop jar /path/to/hadoop/examples.jar wordcount /path/to/input /path/to/output`

相关问题

Ubuntu20安装Hadoop

### 如何在Ubuntu 20.04 LTS上安装配置Hadoop集群

#### 准备工作
为了确保顺利搭建Hadoop集群，在开始之前需确认已准备好如下资源：

- 虚拟化软件VMware Workstation Pro版本16.1.0 build-17198959用于创建运行Ubuntu系统的虚拟机环境[^1]。
- Ubuntu操作系统选用20.04.2 LTS桌面版64位作为基础平台来部署整个开发测试环境。

#### 安装必要的工具和服务
通过命令行执行一系列操作以准备基本的系统环境，这包括但不限于安装文本编辑器、SSH服务器以及关闭不必要的安全防护措施以便于后续网络通信设置：

sudo apt-get install vim
sudo apt install openssh-server
sudo ufw disable

对于想要利用Open VM Tools实现更佳性能优化和支持特性的用户来说，则还需要额外完成下面两条指令：

sudo apt-get install open-vm-tools
sudo apt-get install open-vm-tools-desktop

最后赋予特定账户管理员权限并刷新包列表至最新状态：

sudo usermod -aG sudo hduser
sudo apt-get update && sudo apt-get upgrade

#### Hadoop集群的具体构建过程
当上述准备工作完成后，接下来就是针对Hadoop本身的安装与配置环节。考虑到个人笔记本电脑上的实验性质，推荐采用伪分布式的部署方式。具体而言，即在同一台机器内部模拟多节点间的交互协作机制而不必真正连接其他物理设备形成跨主机的真实集群架构。

首先获取适合目标平台使用的稳定发行版——这里指定了`hadoop-2.7.4.tar.gz`文件，并将其解压到指定目录下；与此同时也要注意配套JDK的选择，如文档中提到的`jdk-8u281-linux-x64.tar.gz`同样适用于此场景下的依赖需求。

之后按照官方指引调整相应参数设定（比如core-site.xml, hdfs-site.xml等），使得各个组件能够正常协同运作起来。值得注意的是，如果打算进一步扩展成完全分布式模式的话，则还需涉及到更多复杂的网络规划及数据同步策略等方面的内容超出了本次讨论范围。

#### IP地址验证与静态分配
为保证各实例间稳定的通讯质量，建议固定每台参与计算任务的工作站所持有的公网或局域网内的唯一标识符—IP地址。可以通过修改/etc/netplan/*.yaml文件的方式达到目的，同时记得重启对应的服务使更改生效[^3]。

另外，适当时候应该考虑更新本机名称映射关系(/etc/hosts)，从而简化日常管理维护流程中的域名解析步骤。

---

Ubuntu2.0的Hadoop集群部署

### 安装和配置 Hadoop 集群于 Ubuntu 2.0

#### 准备工作
确保环境满足基本条件，在准备阶段，需确认已成功安装 Java 开发工具包 (JDK)，这可以通过特定命令完成。对于基于 Red Hat 的系统如 CentOS 使用 `sudo yum install java-1.8.0-openjdk-devel.x86_64` 来安装 JDK[^2]；然而针对 Ubuntu 平台，则应采用 apt-get 或者 snap 工具来实现相同目的。

#### 下载并解压 Hadoop
前往 Apache 官方网站下载最新稳定版的 Hadoop 发行包，并将其放置到合适位置后进行解压缩操作。假设文件名为 hadoop-x.y.z.tar.gz：

tar -xzvf hadoop-x.y.z.tar.gz -C /usr/local/

此过程会把 Hadoop 解压至 `/usr/local/hadoop-x.y.z/` 路径下[^3]。

#### 修改配置文件
进入刚刚解压出来的目录下的 etc/hadoop 文件夹内编辑核心配置文档 core-site.xml, hdfs-site.xml 及 yarn-site.xml 。这些 XML 文档定义了分布式文件系统的名称节点地址以及其他重要参数设置。例如设定 NameNode 地址为本机 IP 加端口号 9000:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

同样地也需要调整其他两个站点的相关属性以适应实际需求。

#### 初始化 HDFS 文件系统
执行以下命名初始化 HDFS 文件系统结构：

/usr/local/hadoop-x.y.z/bin/hdfs namenode -format

这条指令会在指定路径创建必要的元数据存储空间以便后续正常使用。

#### 启动 Hadoop 集群服务
利用脚本来简化启动流程，比如运行整个集群可以用单条命令搞定：

/usr/local/hadoop-x.y.z/sbin/start-all.sh

上述动作将会依次激活各个组件的服务进程，包括但不限于 DataNodes 和 NodeManagers 等。