mapreduce安装及配置

MapReduce是一个运行在Hadoop上的分布式计算框架，它可以处理大规模的数据集。下面是MapReduce的安装和配置步骤：

1. 安装Java JDK

MapReduce需要Java环境支持，所以需要先安装Java JDK。可以通过以下命令安装：

sudo apt-get install openjdk-8-jdk

2. 安装Hadoop

MapReduce是Hadoop的一部分，所以需要先安装Hadoop。可以从Hadoop的官方网站上下载最新的二进制文件，然后解压缩到一个目录中即可。

3. 配置Hadoop

Hadoop的配置文件位于`$HADOOP_HOME/etc/hadoop`目录下，需要进行以下配置：

- core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

- hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

- mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>localhost:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>localhost:19888</value>
  </property>
</configuration>

- yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

4. 启动Hadoop

使用以下命令启动Hadoop：

$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh

5. 运行MapReduce

使用以下命令运行MapReduce：

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi 10 100

这将启动一个计算Pi的MapReduce任务，并将结果输出到控制台。