将pyspark 时间格式中的天数取出来

可以使用 pyspark 中的 date_format 函数来取出时间格式中的天数，具体代码如下：

from pyspark.sql.functions import date_format

# 假设时间格式为 "yyyy-MM-dd"
df = spark.createDataFrame([(1, "2022-01-01"), (2, "2022-01-02")], ["id", "date"])
df.select(date_format("date", "dd").alias("day")).show()

输出结果为：

+---+
|day|
+---+
| 01|
| 02|
+---+

相关问题

PySpark 我想实现将天数列和行为类型列聚合在一起，并算出每天不同的数据类型的总和代码怎么写

您可以使用PySpark的groupByKey和reduceByKey函数来实现这个聚合功能。以下是一个示例代码：

from pyspark import SparkContext, SparkConf

conf = SparkConf().setAppName("Aggregation").setMaster("local")
sc = SparkContext(conf=conf)

# 创建一个包含天数和行为类型的RDD
data = sc.parallelize([(1, 'type1'), (2, 'type2'), (3, 'type1'), (1, 'type2'), (2, 'type1'), (3, 'type2')])

# 使用groupByKey函数将天数和行为类型进行分组
grouped = data.groupByKey()

# 使用reduceByKey函数将每天不同类型的数据总和计算出来
result = grouped.mapValues(lambda x: len(set(x))).collect()

print(result)

这段代码会输出每天不同类型的数据总和。

PySpark dataframe我想实现将天数列和行为类型列聚合在一起，并算出每天不同的数据类型的总和代码怎么写

你可以使用PySpark的groupBy和pivot方法来实现该需求。代码样例如下：

from pyspark.sql.functions import sum

# 假设你有一个名为df的PySpark DataFrame，它包含列day、列behavior和列count
# 聚合天数列和行为类型列
grouped = df.groupBy("day").pivot("behavior").agg(sum("count"))

# 查看结果
grouped.show()

这将返回按天聚合的行为计数总和，每行表示一个不同的天数，每列表示一种不同的行为类型。如果某一天没有对应某种行为类型的数据，则对应的单元格将是null。