【大数据入门笔记系列】第五节【大数据入门笔记系列】第五节 SpringBoot集成集成hadoop开发环境（复杂版的开发环境（复杂版的
WordCount））
【大数据入门笔记系列】第五节【大数据入门笔记系列】第五节 SpringBoot集成集成hadoop开发环境（复杂版的开发环境（复杂版的WordCount））前言环境清单创建SpringBoot项目创建包创建yml添加集群主机名映射hadoop配置文件
环境变量HADOOP_HOME编写代码添加hadoop依赖jar包编译项目造数据IDEA远程提交MapReduce任务后记跳转
前言前言
本来是想直接扒一扒MapReduce的工作原理，但是觉得只是图解或者文字描述，没有Demo的运行体验总是无趣的，一遍走下来也没有什么成就感，因此还是要撸一撸代码的。
那么谈到MapReduce的工作原理，我们的Demo首选自然是WordCount，WordCount是很优秀的讲解MapReduce的案例，也是理解MapReduce的最好的方法，本节我们的目标只是
将环境搭建起来，然后运行成功（不必纠结一些细节，因为开发习惯和为后面的Demo做准备的想法，一些类与文件的创建我是按模板来安排的，最好不要在没有搞懂原理的时候停
下来死扣代码，此时运行成功就是成功！）。
环境清单环境清单
开发工具使用IDEA(Eclipse也行)；
使用Jdk1.8；
需要maven环境；
需要IDEA提前装好SpringBoot插件（因为诸如kafka、elasticsearch、flink、spark等一大批大数据应用组件，SpringBoot都提供了良好的集成环境，所以不要嫌麻烦就用Maven，动
动手顺便把SpringBoot也入门了岂不美滋滋？以后你再有什么demo直接就在这个项目里面干了，所以这个插件没装的可以装一下，网上教程一搜一大把）；
需要一个Hadoop集群（既然决定学习大数据，搭集群这个过程不可避免，如果你的机器性能扛得住的话，可以装CDH，根据【Centos7.6安装CDH6.1.0】第一节 基础环境准备
（host域名及免密登录）相关章节介绍一步一步跟着做相应操作就好，如安装遇到问题则可下方留言）；
创建创建SpringBoot项目项目
首先，我们用IDEA（Eclipse也可以）创建一个普通的maven项目（groupId为com.jackroy.www，artifactId为BigData），然后我们将这个普通的Maven项目变成SpringBoot项目（需
要提前准备好SpringBoot插件），转变的方法很简单，以下是我的pom.xml（注意，有个位置需要自己动手改一下hadoop依赖版本，查看自己hadoop的版本后，替换版本号）：
4.0.0
com.jackroy.www
BigData
1.0-SNAPSHOT
org.springframework.boot
spring-boot-starter-parent
2.0.5.RELEASE
UTF-8
UTF-8
1.8
1.2.49
2.0.5.RELEASE
3.0.0
true
org.springframework.boot
spring-boot-starter-web
${springboot.version}
org.springframework.boot
spring-boot-starter-test
${springboot.version}
org.apache.hadoop
hadoop-common
${hadoop.version}
slf4j-log4j12
org.slf4j
org.apache.hadoop
hadoop-mapreduce-client-core
${hadoop.version}
slf4j-log4j12
org.slf4j
org.apache.hadoop
hadoop-mapreduce-client-common
${hadoop.version}
slf4j-log4j12
org.slf4j
org.apache.hadoop
hadoop-mapreduce-client-jobclient
${hadoop.version}
slf4j-log4j12
org.slf4j
org.apache.hadoop
hadoop-hdfs
${hadoop.version}
slf4j-log4j12
org.slf4j
com.janeluo
ikanalyzer
2012_u6
org.springframework.boot
spring-boot-configuration-processor
true
BigData-1.0
org.springframework.boot
评论0