File "/usr/local/spark/spark-2.4.4-bin-hadoop2.7/s.py", line 37 tfidf.coalesce(sTextFile'hdfs://spark01:9000/project/processed_data_combined') ^ SyntaxError: invalid syntax
时间: 2023-12-30 21:02:56 浏览: 132
这个错误提示是因为在第37行代码中,缺少一个逗号,正确的语法应该是:
```
tfidf.coalesce(sTextFile, 'hdfs://spark01:9000/project/processed_data_combined')
```
请注意看到逗号的位置。
相关问题
输入命令./bin/hdfs dfs -put /usr/local/spark/README.md .后报错put: .': No such file or directory: hdfs://localhost:9000/user/hadoop’,如何修改
这个错误提示意味着当你尝试使用`hdfs dfs -put`命令将`/usr/local/spark/README.md`文件上传到HDFS(Hadoop Distributed File System)时,系统找不到指定的目标目录`.`(当前目录)。HDFS的路径应该是从根开始的,而`.`表示本地机器的当前目录,在远程HDFS上并没有这个概念。
为了解决这个问题,你需要提供HDFS的完整路径,而不是`.`。确保目标路径是正确的HDFS用户(这里可能是`hadoop`)并且在正确的命名空间下,例如:
```bash
./bin/hdfs dfs -put /usr/local/spark/README.md /user/hadoop/ 或者 如果你的HDFS根目录是其他位置,比如`/user`
./bin/hdfs dfs -put /usr/local/spark/README.md /user/
# 如果你知道确切的文件夹名称,可以放到更具体的路径下
./bin/hdfs dfs -put /usr/local/spark/README.md /user/hadoop/my_spark_files/
```
阅读全文