mapreduce商品评价数据分析

### 使用 MapReduce 进行商品评价数据分析

#### 数据准备
为了进行有效的商品评价数据分析，首先需要准备好数据源。假设有一个CSV文件`reviews.csv`，其中包含了用户对不同商品的评论信息。该文件结构如下：

| review_id | user_id | product_id | rating | comment |
|-----------|---------|------------|--------|---------|
| 1 | u1 | p1 | 5 | Great! |

此表中每一列代表不同的属性，包括评论ID、用户ID、产品ID、评分以及具体评语。

对于大规模的商品评价数据处理，可以利用Hadoop平台下的MapReduce框架来实现高效并行计算[^1]。

#### 编写Mapper函数
Mapper负责读取输入键值对，并将其转换成中间键值对的形式输出给Reducer。针对本场景，在mapper阶段主要任务是从每一条记录提取有用的信息作为key-value形式传递下去。这里可以选择以product_id为key，而value则由rating和comment组成。

public class ReviewMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    private final static IntWritable one = new IntWritable(1);
    
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String line = value.toString();
        String[] parts = line.split(",");
        
        // Assuming the format is "review_id,user_id,product_id,rating,comment"
        if (parts.length >= 4 && !line.startsWith("review_id")) { // Skip header row
            String productId = parts[2];
            int rating = Integer.parseInt(parts[3]);
            
            context.write(new Text(productId), new IntWritable(rating));
        }
    }
}

这段代码实现了基本的功能：跳过标题行；解析每一行的内容获取到productId和对应的评分；最后将二者组合起来发送出去等待后续聚合操作。

#### 编写Reducer函数
Reducer接收来自多个mappers产生的相同key的所有values列表，对其进行汇总统计或其他类型的加工运算后再写出最终的结果。在此处reducer的任务是对同一产品的所有评分求平均分。

public class AverageRatingReducer extends Reducer<Text, IntWritable, Text, DoubleWritable> {

    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        double sum = 0;
        int count = 0;

        for (IntWritable val : values) {
            sum += val.get();
            ++count;
        }

        double average = sum / count;
        context.write(key, new DoubleWritable(average));
    }
}

上述逻辑简单明了地完成了对特定商品下所有用户打分情况的均值计算工作。

通过以上两部分的设计，即构建了一个完整的基于MapReduce模式的商品评价分析流程。当面对海量级别的电商交易反馈时，这种方法能够显著提高效率并且易于扩展至更大规模集群环境中运行。