org.apache.hive.service.cli.HiveSQLException: Error running query: org.apache.spark.sql.AnalysisException: cannot resolve 'date_add(CAST(spark_catalog.test_sql.test5.`dt` AS DATE), INTERVAL '-5 days')' due to data type mismatch: argument 2 requires (int or smallint or tinyint) type, however, 'INTERVAL '-5 days'' is of interval type.; line 4 pos 7; 'Aggregate [user_id#6379, dt#6378], [user_id#6379, dt#6378, row_number() windowspecdefinition(user_id#6379, dt#6378 ASC NULLS FIRST, specifiedwindowframe(RowFrame, unboundedpreceding$(), currentrow$())) AS rn1#6375, date_add(cast(dt#6378 as date), -5 days) AS dt2#6376] +- SubqueryAlias spark_catalog.test_sql.test5 +- HiveTableRelation [`test_sql`.`test5`, org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe, Data Cols: [dt#6378, user_id#6379, age#6380], Partition Cols: [ ..
时间: 2024-04-08 19:30:24 浏览: 291
【hive on spark Error】return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.
这个错误是由于Spark SQL中的数据类型不匹配导致的。具体来说,'date_add'函数的第二个参数需要是int、smallint或tinyint类型,但你传入的参数是一个间隔类型的字符串'INTERVAL '-5 days'',因此引发了错误。
建议你将第二个参数改为整数类型,例如使用-5代替'INTERVAL '-5 days'',这样就可以解决这个问题。以下是修改后的查询语句示例:
```sql
SELECT user_id, dt, row_number() OVER (PARTITION BY user_id, dt ORDER BY user_id, dt ASC NULLS FIRST) AS rn1, date_add(cast(dt as date), -5) AS dt2
FROM test_sql.test5
```
请注意,这只是一个示例,你可能需要根据你的具体需求进行调整。如果还有其他问题,请随时提问。
阅读全文