pyspark中 查看df字段的各个属性

在PySpark中，你可以使用DataFrame的`dtypes`属性来查看每个字段的数据类型，或者直接通过列名访问单个列的信息。以下是两个常用的方法：

1. **查看所有字段的数据类型**：

   df.dtypes  # 这将返回一个包含列名和对应数据类型元组的列表

输出示例：

   [('column1', 'string'), ('column2', 'integer'), ('column3', 'timestamp')]

2. **查看单个字段的属性**：
对于某个具体的字段，如`column_name`：

   df.column_name.dtype  # 获取该字段的数据类型
   df[column_name].nullable  # 检查该字段是否允许NULL值
   df[column_name].metadata  # 可能包含额外的列属性，如分区键等

如果你想要获取更详细的统计信息，例如列的最大值、最小值、平均值等，可以使用`describe()`或`agg()`方法：

df.describe().show()  # 显示每个数值列的统计摘要
df.groupby(column_name).count()  # 计算每个组别的频数

请注意，不是所有的列都会提供所有的属性或统计信息，特别是对于非数值类型（如字符串、日期）的列。