numerical_cols = data.select_dtypes(exclude = 'object').columns改为py spark语言
时间: 2024-02-22 18:00:47 浏览: 198
Data Analytics with Spark Using Python
在pyspark中,我们可以使用`dtypes`属性获取DataFrame中所有列的名称和数据类型的元组列表,然后筛选出数值类型的列。以下是一个示例代码:
```python
# 获取所有数值类型的列名
numerical_cols = [c[0] for c in data.dtypes if c[1] in ("int", "double", "float")]
```
其中,`data.dtypes`返回一个由列名和对应数据类型组成的元组列表,`if c[1] in ("int", "double", "float")`用于筛选出数值类型的列。`numerical_cols`即为所有数值类型列的列名列表。
阅读全文