pyspark读取fabric中lakehouse的delta表 如何只读100行 减小读取时间

在Pyspark中，如果你想要从Flink或Hudi等湖仓系统（如Delta Lake）中读取数据并限制读取量为100行以减小读取时间，可以使用`take()`函数。首先，你需要创建一个SparkSession，并导入需要的库。假设你已经有了一个DataFrame叫做df，步骤如下：

from pyspark.sql import SparkSession

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 指定Delta Lake的数据路径
path_to_delta_table = "your_lakehouse_path"

# 读取 Delta 表
full_df = spark.read.format("delta").load(path_to_delta_table)

# 限制读取100行
limited_df = full_df.limit(100)

# 现在limited_df包含了前100行数据

请注意，`limit()`方法会返回一个新的DataFrame，原始的Delta表不会改变。如果数据非常大并且只是需要部分预览，这种方法可以有效减少内存消耗。