在idea中搭建mapreduce环境，hadoop版本3.3.6

在IntelliJ IDEA中搭建Hadoop MapReduce环境，针对Hadoop 3.3.6版本，你可以按照以下步骤操作：

1. **安装Hadoop**: 首先，你需要从Apache官网下载Hadoop 3.3.6的二进制包，并解压到你的机器上。通常会创建一个`hadoop`目录结构。

2. **配置环境变量**: 将Hadoop的bin目录添加到系统的PATH环境变量中，以便于命令行操作。比如，在Linux系统下编辑`.bashrc`文件，添加：

   export HADOOP_HOME=/path/to/hadoop-3.3.6
   export PATH=$HADOOP_HOME/bin:$PATH

3. **配置核心-site.xml**: 这里需要设置Hadoop的一些基本配置，如HDFS的名称节点地址。这个文件一般位于`$HADOOP_HOME/conf`目录下。如果没有，可以创建一个并添加内容，例如：

   <configuration>
     <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
     </property>
   </configuration>

4. **启动守护进程**: 使用`start-all.sh`或`sbin/start-dfs.sh` (HDFS) 和 `sbin/start-yarn.sh` (YARN) 启动Hadoop的服务。在IDEA中，你可以通过运行脚本来手动启动。

5. **验证环境**: 在命令行中输入`jps`检查是否有NameNode、DataNode、ResourceManager等进程正在运行。同时，尝试上传文件到HDFS看是否能成功。

6. **配置IDEA**: 在IntelliJ IDEA中，选择File > Project Structure > Modules，然后点击 "+" 添加新模块。选择"From Existing Sources"，指向Hadoop的src目录。配置好后，记得启用Maven或Gradle支持，以便构建MapReduce程序。

7. **编写MR应用**: 使用IDEA的MapReduce功能编写Mapper、Reducer类，利用Hadoop提供的API。记得引入相关的Hadoop库依赖。