2023-06-12 15:06:20,253 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). ./bin/spark-shell: 行 47: 10517 已杀死 "${SPARK_HOME}"/bin/spark-submit --class org.apache.spark.repl.Main --name "Spark shell" "$@"

这个警告信息表明 Spark 在启动时无法加载本地的 Hadoop 库，因此使用了内置的 Java 类。同时，Spark 将日志级别设置为 WARN 级别，可以使用 sc.setLogLevel(newLevel) 或 setLogLevel(newLevel) 方法来修改日志级别。

这个警告信息通常不会影响 Spark 的正常使用，但如果您需要使用 Hadoop 库中的一些功能，可以尝试安装本地的 Hadoop 库或者使用其他方式加载 Hadoop 库。

如果您需要修改日志级别，可以在 Spark shell 中使用 sc.setLogLevel(newLevel) 命令来修改日志级别，例如：

sc.setLogLevel("INFO")

这样就将日志级别设置为 INFO 级别，输出更多的日志信息。如果您使用的是 SparkR，可以使用 setLogLevel(newLevel) 方法来修改日志级别。

需要注意的是，修改日志级别可能会影响到 Spark 的输出和日志记录，建议在必要的时候使用。

相关问题

2023-06-09 09:58:19,390 WARN [main] org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 2023-06-09 09:58:19,406 WARN [main] org.apache.hadoop.hdfs.shortcircuit.DomainSocketFactory: The short-circuit local reads feature cannot be used because libhadoop cannot be loaded.

这是 Hadoop 在启动时打印的一些警告信息。第一条警告信息是说无法加载本机代码库，因此将使用内置的 Java 类来代替。第二条警告信息是说由于无法加载 libhadoop 库，所以无法使用短路本地读取特性。这些警告信息通常不会影响 Hadoop 的运行，但如果你遇到了其他问题，可以提供更多的信息让我来帮助你。

Starting namenodes on [localhost] localhost: root@localhost: Permission denied (publickey,password). Starting datanodes localhost: root@localhost: Permission denied (publickey,password). Starting secondary namenodes [hadoop-virtual-machine] hadoop-virtual-machine: root@hadoop-virtual-machine: Permission denied (publickey,password). 2023-07-16 23:11:31,425 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

这个错误表示在尝试以root用户身份启动Hadoop服务时，出现了SSH密钥验证错误。可能是因为你的SSH密钥配置不正确或不匹配导致的。

请确保你已经正确配置了SSH密钥，并且密钥对应的公钥已经添加到了root用户的`authorized_keys`文件中。你可以通过以下步骤来配置SSH密钥：

1. 生成SSH密钥对：在终端中执行以下命令：

   ssh-keygen -t rsa -b 4096

2. 将公钥复制到root用户的`authorized_keys`文件中：执行以下命令：

   ssh-copy-id root@localhost

确保你的密钥已经正确配置，并且尝试再次启动Hadoop服务。如果问题仍然存在，请检查你的SSH密钥配置和权限设置是否正确。