参数还不行，如果数据量达不到 128M，那么数据将一直卡着提交不了，因此还需要调整时
间参数，将时间调整为 1 个小时，如果数据 1 个小时还没达到 128M，数据也会进行提交，
通过调整这两个参数，成功解决了小文件问题，第三个参数保持默认值零就可以，这个参数
是指当 event 个数达到设定值就进行提交，但是 event 可能大小不一，最后形成的块也会大
小不一，不方便计算，数值设定为零表示不开启此功能。
2.3.4 数据存入 hdfs 阶段
一、小文件问题
然后数据进入到 hdfs，在 hdfs 中，会经常发生一些小文件问题，1 个文件块会占用 namenode
内存 150 字节 ，大量小文件会占用 namenode 大量的内存，而 namenode 的内存空间是有
限的，同时，一个小文件需要开启一个 maptask，一个 maptask 需要分配 1g 内存，大量小
文件会把整个集群资源耗光，我们采用了几种方法来解决小文件问题，①第一种是 har 归档，
har 归档会将小文件包在一起，类似于压缩的方式，而对于 namenode 来说他们就是一个整
体，同时，也能通过 har 协议，取出一个一个的小文件，减小了 namenode 的内存，起到了
一定的优化，②由于一个文件需要启动一个 maptask，我们采用 CombineTextInputFormat 将
小文件合在一起，统一切片，这样就降低了 maptask 启动的数量，减小了计算任务的压力，
③我们还使用了 jvm 重用，通过调整 jvm 重用的次数一般调整为 10-20 次，避免了大量的 jvm
开关的时间，提高了效率。
2.3.5 业务采集平台（MySQL 通过 sqoop 到 hdfs）
接下来说一下业务数据采集平台，业务数据通过业务服务器存储到 MySQL 中，通过
sqoop 将数据导入到 hdfs，sqoop 需要配置连接 Mysql 的参数，Mysql 用户名，密码，连接
hdfs 需要配置 hdfs 的路径，如果路径存在需要删除，通过 query 将指定的数据导入到
hdfs，我们这里导入的策略有全量，增量，新增及变化，特殊，具体实现方法是，如果需
要全量导入，将 where 条件值设为 1=1，如果需要增量导入，将 where 条件设置为当日日
期，新增及变化需要将与之有关的时间都加入 where 条件中，比如，订单表中，需要将订
单状态变化的时间都加入到 where 条件中，在使用 sqoop 时遇到过一些问题，Hive 中的
Null 在底层是以“\N”来存储，而 MySQL 中的 Null 在底层是 Null，为了保证数据两端的一
剩余43页未读，继续阅读
