package hadoop9999.training.exp1; import com.alibaba.fastjson.JSON; import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import java.io.IOException; public class ActorBestMoviesMapper extends Mapper<LongWritable, Text, MovieInfo, NullWritable>{ public static final Log log = LogFactory.getLog(ActorBestMoviesMapper.class); @Override protected void map(LongWritable key1, Text value1, Context context) throws IOException, InterruptedException { String val=value1.toString(); MovieInfo m=JSON.parseObject(val, MovieInfo.class); if(m.getActorSet().contains("李治廷")){ log.info(m.getTitle()); context.write(m, NullWritable.get()); } } }
时间: 2023-06-27 22:03:12 浏览: 168
Caused by: java.lang.ClassNotFoundException: org.apache.commons.collections.Transformer异常
5星 · 资源好评率100%
这是一个Hadoop MapReduce程序中的Mapper类,用于实现从输入数据中筛选出演员“李治廷”参演的电影,并将其输出。具体来说,它接受的输入键值对类型为LongWritable和Text,表示输入文件中每行的偏移量和内容。在map()方法中,它首先将输入数据解析成一个MovieInfo对象,然后检查该电影的演员列表中是否包含“李治廷”,如果包含,则输出该电影对象作为键,NullWritable.get()作为值,以便在Reduce过程中对电影进行排序和去重。同时,它还使用了Log4j2日志框架记录每个被筛选出的电影标题,以便进行调试和监控。
阅读全文