spark 读取文件并进行处理java实例

以下是一个使用Spark读取文件并进行处理的Java示例：

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;

public class FileProcessingExample {
    public static void main(String[] args) {
        // 创建Spark配置对象
        SparkConf conf = new SparkConf().setAppName("FileProcessingExample").setMaster("local[*]");

        // 创建Spark上下文对象
        JavaSparkContext sc = new JavaSparkContext(conf);

        // 读取文件
        JavaRDD<String> lines = sc.textFile("input.txt");

        // 过滤出包含“error”的行
        JavaRDD<String> errors = lines.filter(line -> line.contains("error"));

        // 统计错误行数
        long errorCount = errors.count();

        System.out.println("Number of error lines: " + errorCount);

        // 关闭Spark上下文对象
        sc.close();
    }
}

该示例首先创建一个Spark配置对象，然后创建一个Spark上下文对象。接着，它使用`textFile()`方法读取文件中的行，并使用`filter()`方法过滤出包含“error”的行。最后，它使用`count()`方法统计错误行数，并输出结果。最后，使用`close()`方法关闭Spark上下文对象。