首页Data set转换为DataFrame应调用（ Ads.as[DataFrame] B ds.makeRDD cds.toRDD D ds.toDF

Data set转换为DataFrame应调用（ Ads.as[DataFrame] B ds.makeRDD cds.toRDD D ds.toDF

时间: 2024-05-04 22:18:04 浏览: 88

pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例

5星 · 资源好评率100%

代码如下，步骤流程在代码注释中可见： # -*- coding: utf-8 -*- import pandas as pd from pyspark.sql import SparkSession from pyspark.sql import SQLContext from pyspark import SparkContext #初始化数据 #初始化pandas DataFrame df = pd.DataFrame([[1, 2, 3], [4, 5, 6]], index=['row1', 'row2'], columns=['c1', 'c2', 'c3']) #打印数据 pri

将Dataset转换为DataFrame应该调用选项D - ds.toDF()。Dataset是Spark 2.0中引入的新的强类型API，它是类型安全的，可以在编译时检查类型错误。而DataFrame是旧的弱类型API，它不是类型安全的，但是提供了非常方便的数据操作和查询功能。因此，将Dataset转换为DataFrame可以方便地使用DataFrame的强大功能。而选项A、B、C都是错误的，因为Dataset没有as、makeRDD和toRDD方法。

阅读全文