pyspark.sql.utils.IllegalArgumentException: age does not exist. Available: 39, State-gov, 77516, Bachelors, 13, Never-married, Adm-clerical, Not-in-family, White, Male, 2174, 0, 40, United-States, <=50K
时间: 2023-10-03 19:11:13 浏览: 35
这个错误是因为你在代码中引用了一个不存在的列名"age"。根据错误提示,你可以看到该数据集中可用的列名有:39, State-gov, 77516, Bachelors, 13, Never-married, Adm-clerical, Not-in-family, White, Male, 2174, 0, 40, United-States, <=50K。请检查一下你的代码,确保列名的正确性。如果你已经确认列名无误,那么可能是数据集本身存在问题,你需要重新检查数据集的内容。
相关问题
代码报错 pyspark.sql.utils.IllegalArgumentException: requirement failed: Column prediction already exists
这个错误表示你在尝试添加一个名为 "prediction" 的列,但是这个列已经存在于你的数据集中了。你可以尝试修改你的代码,使用一个不同的名称来命名新的列,或者在添加列之前先删除已有的 "prediction" 列。例如,可以使用以下代码来删除已有的 "prediction" 列:
```
data = data.drop("prediction")
```
然后再尝试添加新的 "prediction" 列。
pyspark.sql.utils.IllegalArgumentException: 'Invalid start or len parameter'
这个错误通常发生在使用Spark SQL中对DataFrame进行切片时。通常情况下,您需要检查您的切片参数是否正确。
在使用切片时,应该遵循以下规则:
1. 切片参数应该是整数。
2. 切片参数应该在DataFrame的行数范围内。
3. 切片参数应该遵循[start:end]的格式,其中start是起始位置,end是结束位置。
如果您的切片参数不符合这些规则,就会出现“Invalid start or len parameter”的错误。请检查您的代码,看看是否有任何不正确的切片参数。
如果您确定您的切片参数是正确的,但仍然遇到此错误,则可能是因为您的DataFrame中存在空行或空列。请检查您的数据,并确保没有任何空数据。