Exception in thread "main" java.lang.IllegalArgumentException: Pathname /D:/LenovoQMDownload/白华强/succeful from hdfs://192.168.137.111:9000/D:/LenovoQMDownload/白华强/succeful is not a valid DFS filename.
时间: 2023-08-03 12:07:05 浏览: 89
这个异常的原因是你提供的路径名不是有效的 DFS 文件名。在 Hadoop 文件系统中,DFS 文件名应该是类似 "/path/to/file" 的格式,而不是带有驱动器标识符(如 "D:")的本地文件路径。
如果你想在 Hadoop 文件系统中访问本地文件系统中的文件,你可以使用 `file://` 前缀来指定路径。例如,对于你提供的路径,应该使用 `file:///D:/LenovoQMDownload/白华强/succeful`。
请确保提供的路径名符合 Hadoop 文件系统的命名规则,以及正确指定文件系统协议(如 `hdfs://` 或 `file://`)。
相关问题
Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://hadoop102:8020/output, expected: file:///
这个错误通常是因为在代码中使用了错误的文件系统前缀。在这个例子中,你的代码期望使用本地文件系统(file://),但实际上使用了Hadoop分布式文件系统(hdfs://)。
要解决这个问题,你可以修改代码中的文件路径,将"hdfs://"替换为"file://"。或者,如果你确实希望使用Hadoop文件系统,那么你需要确保你的代码正确配置了Hadoop环境,并且Hadoop集群正常运行。
Spark Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://hadoop102:8020/output, expected: file:///
这个异常是由于你的代码中使用了错误的文件系统。在这里,你期望的文件系统是本地文件系统(file://),而实际使用的是 HDFS 文件系统(hdfs://)。
要解决这个问题,你需要将文件系统 URL 修改为正确的文件系统。如果你想使用本地文件系统,将文件路径修改为 file:///output。如果你想使用 HDFS 文件系统,确保 HDFS 集群正常运行,并将文件路径修改为 hdfs://hadoop102:8020/output。
请注意,你还需要确保你的代码中有正确的文件系统配置,并且你的环境中有权限访问指定的文件系统。