pyspark dataframe新建一行
时间: 2023-09-19 09:09:23 浏览: 136
pyspark给dataframe增加新的一列的实现示例
可以使用append方法,在原有的dataframe后面追加一行数据。
例如,定义一个dataframe:
```
from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, StringType, IntegerType
spark = SparkSession.builder\
.appName("example")\
.getOrCreate()
schema = StructType([
StructField("name", StringType()),
StructField("age", IntegerType())
])
data = [("Tom", 20),("Jerry", 22)]
df = spark.createDataFrame(data, schema)
```
在原有的dataframe后面追加一行数据:
```
new_row = spark.createDataFrame([("Tom", 20)], schema)
df = df.union(new_row)
```
阅读全文