Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.sql.functions$.to_timestamp(Lorg/apache/spark/sql/Column;Ljava/lang/String;)Lorg/apache/spark/sql/Column; at org.example.Cleaning$.main(Cleaning.scala:32) at org.example.Cleaning.main(Cleaning.scala) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:736) at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:185) at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:210) at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:124) at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 23/06/11 20:06:43 INFO spark.SparkContext: Invoking stop() from shutdown hook
时间: 2023-12-07 11:03:41 浏览: 115
这个错误是由于在你的代码中调用了 `org.apache.spark.sql.functions.to_timestamp` 方法,但是该方法不存在或者版本不兼容所致。你需要检查你的代码,确定你所使用的 Spark 版本和相关依赖的版本是否与你的代码兼容。如果你使用的是 Spark 2.x 版本,则应该使用 `org.apache.spark.sql.functions.unix_timestamp` 方法代替 `to_timestamp` 方法。如果你使用的是 Spark 3.x 版本,则应该确保你的代码中引用的 Spark 依赖的版本与你的代码相匹配。
相关问题
Exception in thread main java.lang.NoSuchMethodError: org.apache.hadoop.io.nativeio.NativeIO$POSIX
这个错误通常是由于Hadoop版本不兼容引起的。可能是您的应用程序使用的Hadoop版本与您的系统中安装的Hadoop版本不兼容。您可以尝试升级或降级您的Hadoop版本,以解决此问题。
另外,您还可以检查您的应用程序是否正确地设置了Hadoop的classpath。如果您使用的是Maven,则可以尝试在pom.xml文件中添加以下依赖项:
```xml
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.7.3</version>
</dependency>
```
如果您手动设置了classpath,则需要确保它包含了正确的Hadoop JAR文件。
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.io
这个错误通常是由于版本不兼容引起的。可能是您正在使用的库或框架版本与您的代码不兼容。您可以尝试更新您的库或框架版本,或者检查您的代码是否正确引用了正确的库或框架版本。
关于您提到的sqoop和hbase版本兼容性问题,根据官方文档,sqoop 1.4.7版本与hbase 2.3.6版本兼容。您可以尝试使用这个版本的sqoop来解决您的问题。
阅读全文