Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://hadoop102:8020/output, expected: file:///
时间: 2023-08-08 21:07:06 浏览: 160
这个错误通常是因为在代码中使用了错误的文件系统前缀。在这个例子中,你的代码期望使用本地文件系统(file://),但实际上使用了Hadoop分布式文件系统(hdfs://)。
要解决这个问题,你可以修改代码中的文件路径,将"hdfs://"替换为"file://"。或者,如果你确实希望使用Hadoop文件系统,那么你需要确保你的代码正确配置了Hadoop环境,并且Hadoop集群正常运行。
相关问题
Spark Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://hadoop102:8020/output, expected: file:///
这个异常是由于你的代码中使用了错误的文件系统。在这里,你期望的文件系统是本地文件系统(file://),而实际使用的是 HDFS 文件系统(hdfs://)。
要解决这个问题,你需要将文件系统 URL 修改为正确的文件系统。如果你想使用本地文件系统,将文件路径修改为 file:///output。如果你想使用 HDFS 文件系统,确保 HDFS 集群正常运行,并将文件路径修改为 hdfs://hadoop102:8020/output。
请注意,你还需要确保你的代码中有正确的文件系统配置,并且你的环境中有权限访问指定的文件系统。
Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://hadoop102:8020/ts_regex/output, expected: file:///
这个异常是因为你的代码中使用了错误的文件系统(FS)。根据异常信息,你在代码中使用了Hadoop分布式文件系统(HDFS)的路径(hdfs://hadoop102:8020/ts_regex/output),但实际上期望的是本地文件系统(file:///)的路径。
要解决这个问题,你可以通过以下几种方式之一:
1. 将文件路径更改为本地文件系统路径。例如,将路径改为 file:///ts_regex/output。
2. 如果你确实需要使用HDFS路径,确保你的代码能够正确连接到HDFS并操作文件。这可能涉及到配置Hadoop集群和设置正确的环境变量。
3. 确保你的代码中使用的文件路径与实际文件所在的位置相匹配。检查文件是否存在,并确认路径是否正确。
根据你的具体情况,选择适合你的解决方案。
阅读全文