pyspark dataframe cache 清除缓存

Pyspark DataFrame的`cache()`方法用于将DataFrame存储到内存中，以便后续快速访问。当你第一次计算结果时，数据会被加载到内存中形成一个缓存。如果你之后想要清除这个缓存，可以使用`unpersist()`方法。这个方法有几种模式可以选择：

1. `memory_only`：仅从内存中移除缓存，如果数据也在磁盘上有副本，则不会删除。
2. `disk_only`：只从磁盘上移除缓存，保留内存中的副本。
3. `full` 或 `none`：完全从内存和磁盘上都移除缓存。

示例代码如下：

df.cache()  # 将DataFrame缓存起来
df.unpersist(True)  # 清除所有级别的缓存，包括内存和磁盘

注意，每次对DataFrame做修改操作（如添加新列、过滤等）都会自动清空缓存，除非你在调用这些操作之前先调用了`cache()`。如果你想在修改后仍然保留缓存，你需要在修改后再显式地`cache()`。

相关问题

pyspark dataframe

pyspark dataframe是一种基于Spark的分布式数据处理框架，用于处理大规模数据集。它提供了类似于SQL的查询语言和丰富的数据操作功能，可以进行数据筛选、转换、聚合等操作。

以下是两个pyspark dataframe的例子：

1. 使用isin()对数据进行筛选：

from pyspark.sql import Row

# 创建数据
data = [Row(name='Alice', score=78), Row(name='Bob', score=69), Row(name='Jack', score=100)]
df = spark.createDataFrame(data)

 使用isin()筛选数据
df.select(df.score.isin([69, 78])).show()

输出：

+--+
|(score IN (69,78))|
+--+
|              true|
|              true|
|             false|
+--+

2. 读取csv文件并显示前10行数据：

from pyspark.sql import SparkSession
from pyspark.sql.types import *

# 创建SparkSession
spark = SparkSession.builder.appName("csvRDD").getOrCreate()

# 定义schema
schema = StructType([
    StructField('State', StringType()),
    StructField('Color', StringType()),    StructField('Count', IntegerType())
])

# 读取csv文件
df = spark.read.format('csv').option("header", True).schema(schema).load(r'/data/mnm_dataset.csv')

# 显示前10行数据
df.show(10)

输出：

+--+--+--+
|State|Color|Count|
+--+--+--+
|   CA| Brown|   36|
|   CA| Brown|   29|
|   CA| Brown|   39|
|   CA| Brown|   38|
|   CA| Brown|   28|
|   CA| Brown|   35|
|   CA| Brown|   41|
|   CA| Brown|   33|
|   CA| Brown|   36|
|   CA| Brown|   32|
+--+--+--+

pandas dataframe 和 pyspark dataframe

pandas dataframe 是一个Python库中的数据结构，用于处理和分析数据。它提供了一种灵活的方式来处理数据，包括数据清洗、转换、分组、聚合和可视化等功能。

pyspark dataframe 是Apache Spark中的数据结构，用于处理大规模数据集。它提供了一种分布式的方式来处理数据，可以在集群中处理数据，具有高效性和可扩展性。与pandas dataframe相比，pyspark dataframe可以处理更大的数据集，并且可以在分布式环境中运行。