results.map(attributes => "name:"+attributes(0)+","+"age:"+attributes(1).show()) <console>:30: error: value show is not a member of Any results.map(attributes => "name:"+attributes(0)+","+"age:"+attributes(1).show())

这个错误是因为你尝试在一个字符串中使用 `show()` 方法，而 `show()` 方法只能在 DataFrame 类型上使用，而不能在字符串类型上使用。你需要将 `show()` 方法调用放在 DataFrame 上，然后将结果转换为字符串，再与其他字符串拼接。

例如，假设你要将 `results` 中的每一行数据转换为一个字符串，包含姓名和年龄信息，可以使用以下代码：

val resultStrings = results.map(attributes => s"name: ${attributes(0)}, age: ${attributes(1)}")
resultStrings.foreach(println)

这里使用了字符串插值（string interpolation）语法，使用 `${}` 将表达式嵌入到字符串中，可以方便地将 DataFrame 中的数据转换为字符串。然后使用 `foreach` 方法将每个字符串打印出来，或者将它们写入文件等。

相关问题

from pyspark.conf import SparkConf from pyspark.sql.session import SparkSession from pyspark import SparkContext from pyspark.sql.types import Row if __name__ == "__main__": sc = SparkContext("local","Simple App") peopleRDD = sc.textFile("file:///usr/local/spark/employee.txt") rowRDD = peopleRDD.map(lambda line : line.split(",")).map(lambda attributes : Row(int(attributes[0]),attributes[1],int(attributes[2]))).toDF() rowRDD.createOrReplaceTempView("employee") personsDF = spark.sql("select * from employee") personsDF.rdd.map(lambda t : "id:"+str(t[0])+","+"Name:"+t[1]+","+"age:"+str(t[2])).foreach(print)

这段代码的作用是读取一个文本文件，将其转化为DataFrame，并查询该DataFrame中的数据并打印输出。

首先，使用SparkConf配置一个SparkContext对象，指定运行模式为local（本地模式），设置应用程序名为Simple App。然后，使用SparkContext对象读取文件内容，返回一个RDD对象，表示分布式的、只读的数据集合。接着，通过map操作将每一行文本转化为一个元组，再通过Row对象封装为一个Row对象，最后使用toDF()方法将RDD对象转化为DataFrame对象，并且将其注册为一个临时表。然后，使用SparkSession对象执行SQL查询语句"select * from employee"，返回一个DataFrame对象。最后，使用rdd属性将DataFrame对象转化为RDD对象，并通过map操作将每一条记录转化为一个字符串，最后使用foreach操作打印输出。

[{id=class, name=Class, super=, attributes={}}, {id=1774522940461678598, name=military ships, super=Class, attributes={}}, {id=1774522940470067204, name=ferry ships, super=Class, attributes={}}, {id=1774522940470067205, name=Container vessels, super=Class, attributes={}}, {id=1774522940461678597, name=Rescue Vessel, super=Class, attributes={}}] 转为list java

假设你有一个包含上述元素的List<Map<String, Object>>，你可以使用以下代码将其转换为List<ClassInfo>：

List<Map<String, Object>> data = // 假设你已经有了上述数据

List<ClassInfo> classInfos = data.stream().map(map -> {
    ClassInfo classInfo = new ClassInfo();
    classInfo.setId((Long) map.get("id"));
    classInfo.setName((String) map.get("name"));
    classInfo.setSuperClass((String) map.get("super"));
    Map<String, Object> attributes = (Map<String, Object>) map.get("attributes");
    classInfo.setAttributes(attributes);
    return classInfo;
}).collect(Collectors.toList());

其中，ClassInfo是一个包含id、name、superClass和attributes属性的类。

上述代码中，我们使用Stream API中的map方法来将每个Map对象转换为一个ClassInfo对象，并使用Collectors.toList()方法将它们收集到一个List<ClassInfo>中。

请注意，由于Map中的属性值类型不确定，因此我们需要进行强制类型转换。如果Map中属性值的类型与我们期望的类型不匹配，可能会抛出ClassCastException异常。因此，在实际应用中，我们应该根据具体情况进行异常处理。