spark flatMap算子里面复合条件的数据，记录在ArrayList,在faltmap结束后打印

Spark的flatMap算子主要用于将一个集合中的每个元素展开成一个新的序列，通常用于数据转换操作。如果你想在flatMap过程中基于某些复合条件过滤并存储数据到ArrayList，你可以这样做：

假设你有一个DataFrame `df`，其中包含一列`data`，你想根据列`columnA`和`columnB`的值组合来过滤元素，并添加到ArrayList `filteredList`。首先，你需要创建一个函数，这个函数接收一个行作为输入，检查条件，然后返回想要的元素。

import org.apache.spark.sql.functions._

Function1<Row, Object> filterAndCollect = (row) -> {
    // 判断条件，这里只是一个示例
    if (someCondition(row.getString("columnA"), row.getInt("columnB"))) {
        ArrayList<String> tempList = new ArrayList<>();
        tempList.add(row.getString("yourColumn")); // 添加需要的字段到list
        return tempList;
    } else {
        return null; // 如果不符合条件，返回null或空列表
    }
};

// 使用flatMap应用你的过滤函数
DataFrame filteredDF = df.flatMap(filterAndCollect);

//flatMap后，如果你想打印出所有收集到的ArrayLists，你需要遍历每一行
filteredDF.rdd.foreach(row => {
    ArrayList<String> listFromRow = (ArrayList<String>) row;
    if (listFromRow != null) {
        System.out.println(listFromRow);
    }
});

//