hadoop-2.7.4下dfs在什么位置

在hadoop-2.7.4中，DFS数据存储在${HADOOP_HOME}/dfs/name/data和${HADOOP_HOME}/dfs/data目录下。其中${HADOOP_HOME}是hadoop的安装目录。

相关问题

CentOS7配置hadoop集群2.7.4

1. 安装Java

首先，在所有节点上安装Java。可以使用以下命令来安装Java：

yum install java-1.8.0-openjdk-devel

2. 下载和安装Hadoop

下载并解压Hadoop 2.7.4：

wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.4/hadoop-2.7.4.tar.gz
tar -xzf hadoop-2.7.4.tar.gz

将解压后的文件夹移动到`/opt`目录：

mv hadoop-2.7.4 /opt/hadoop

3. 配置Hadoop集群

在`/opt/hadoop/etc/hadoop`目录下，创建`core-site.xml`文件：

nano /opt/hadoop/etc/hadoop/core-site.xml

在文件中添加以下内容：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
</configuration>

其中，`master`为主节点的主机名。

接下来，创建`hdfs-site.xml`文件：

nano /opt/hadoop/etc/hadoop/hdfs-site.xml

在文件中添加以下内容：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/data/dfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/data/dfs/datanode</value>
  </property>
  <property>
    <name>dfs.permissions</name>
    <value>false</value>
  </property>
  <property>
    <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
    <value>false</value>
  </property>
</configuration>

其中，`dfs.replication`是副本数，`dfs.namenode.name.dir`是主节点的数据存储目录，`dfs.datanode.data.dir`是从节点的数据存储目录。

接下来，创建`mapred-site.xml`文件：

cp /opt/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/etc/hadoop/mapred-site.xml
nano /opt/hadoop/etc/hadoop/mapred-site.xml

在文件中添加以下内容：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value>
  </property>
  <property>
    <name>mapreduce.jobtracker.address</name>
    <value>master:54311</value>
  </property>
</configuration>

其中，`mapreduce.framework.name`设置为`yarn`，`mapreduce.jobhistory.address`和`mapreduce.jobhistory.webapp.address`是JobHistory服务器的地址，`mapreduce.jobtracker.address`是JobTracker服务器的地址。

最后，创建`yarn-site.xml`文件：

nano /opt/hadoop/etc/hadoop/yarn-site.xml

在文件中添加以下内容：

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
</configuration>

其中，`yarn.resourcemanager.hostname`是ResourceManager服务器的地址。

4. 配置环境变量

在`/etc/profile`文件末尾添加以下内容：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存并执行以下命令：

source /etc/profile

5. 启动Hadoop集群

在主节点上执行以下命令启动Hadoop集群：

hadoop namenode -format
start-dfs.sh
start-yarn.sh

在从节点上执行以下命令启动DataNode和NodeManager：

start-dfs.sh
start-yarn.sh

在主节点上执行以下命令启动JobHistory服务器：

mr-jobhistory-daemon.sh start historyserver

6. 验证Hadoop集群

在Web浏览器中访问以下地址来验证Hadoop集群：

- ResourceManager：http://master:8088/
- NameNode：http://master:50070/
- JobHistory：http://master:19888/