pandas和sparkdataframe互相转换实例详解_sparkpandasdataframe好改吗 - CSDN文库

131 浏览量更新于2023-03-16 评论收藏 27KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

pandas和和spark dataframe互相转换实例详解互相转换实例详解

主要介绍了pandas和spark dataframe互相转换实例详解,文中通过示例代码介绍的非常详细，对大家的学习或者

工作具有一定的参考学习价值,需要的朋友可以参考下

这篇文章主要介绍了pandas和spark dataframe互相转换实例详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作

具有一定的参考学习价值,需要的朋友可以参考下

from pyspark.sql import SparkSession

# 初始化spark会话

spark = SparkSession \

.builder \

.getOrCreate()

spark_df = spark.createDataFrame(pandas_df)

spark的dataframe转pandas的dataframe

import pandas as pd

pandas_df = spark_df.toPandas()

由于pandas的方式是单机版的，即toPandas()的方式是单机版的，所以参考breeze_lsw改成分布式版本：

import pandas as pd

def _map_to_pandas(rdds):

return [pd.DataFrame(list(rdds))]

def topas(df, n_partitions=None):

if n_partitions is not None: df = df.repartition(n_partitions)

df_pand = df.rdd.mapPartitions(_map_to_pandas).collect()

df_pand = pd.concat(df_pand)

df_pand.columns = df.columns

return df_pand

pandas_df = topas(spark_df)

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余0页未读，立即下载

评论0

weixin_38732277

粉丝: 7
资源: 880

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈