hadoop运行时，子节点出现ERROR: Cannot set priority of datanode process 15464导致无法开启datanode

这个错误通常是由于hadoop用户没有足够的权限来修改datanode的进程优先级导致的。你可以尝试以下方法来解决这个问题：

1. 确保你正在使用hadoop用户运行hadoop集群。你可以使用如下命令来切换到hadoop用户：

   su - hadoop

2. 修改hadoop用户的limits.conf文件，增加以下两行：

   hadoop soft nofile 65536
   hadoop hard nofile 65536

这个文件的位置通常在/etc/security/limits.conf

3. 修改hadoop-env.sh文件，增加以下两行：

   export HADOOP_HEAPSIZE=1000
   export HADOOP_NAMENODE_OPTS="-XX:ParallelGCThreads=8 -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=70 -XX:+CMSParallelRemarkEnabled"

4. 重启hadoop集群，然后再次尝试启动datanode。

如果上述方法无法解决问题，你可以尝试查看datanode的日志文件，以获取更多的错误信息，以便更好地诊断和解决问题。

相关问题

sbin/start-dfs.sh Starting namenodes on [hadoop102] hadoop102: ERROR: Cannot set priority of namenode process 56124 Starting datanodes hadoop104: datanode is running as process 41444. Stop it first. hadoop102: datanode is running as process 49994. Stop it first. hadoop103: datanode is running as process 23472. Stop it first. Starting secondary namenodes [hadoop104] hadoop104: secondarynamenode is running as process 41658. Stop it first.

这个错误提示表明启动Hadoop集群时出现了一些问题，可能是由于权限、配置、进程等原因导致的。

可以尝试以下方法逐一排查：

1. 检查用户权限：

确认当前用户是否具有启动Hadoop集群的权限，尝试使用root用户或具有相关权限的用户进行操作。

2. 检查Hadoop配置是否正确：

确认core-site.xml、hdfs-site.xml和yarn-site.xml等配置文件中的相关配置是否正确，特别是文件系统路径、端口号等。

3. 停止已经在运行的进程：

根据提示信息，先停止正在运行的datanode和secondarynamenode进程，可以使用“stop-dfs.sh”脚本停止所有Hadoop进程，然后再使用“start-dfs.sh”脚本重新启动。

4. 检查NameNode进程是否已经启动：

使用“jps”命令确认NameNode进程是否已经启动，如果没有启动，可以查看日志文件确认具体错误信息。

5. 检查文件系统是否正常：

可以使用“hdfs dfsadmin -report”命令检查HDFS状态，确认文件系统是否正常运行。

如果上述方法还是无法解决问题，可以查看Hadoop日志文件，确认具体的错误信息，一般在hadoop安装目录下的logs目录中。

启动hadoop出现cannot set priority of datanode process 14438

当尝试启动Hadoop时遇到"cannot set priority of datanode process 14438"错误，这通常是因为Linux系统的权限限制导致的。DataNode进程（通常是守护进程datanode）试图提高其自身的优先级（priority），但在当前用户的权限下，可能无法完成这个操作。

Hadoop DataNode通常运行在一个后台守护进程中，它可能没有足够的权限去修改其自身或其他系统服务的优先级。这是因为，在生产环境中，为了保证安全性，通常不会给普通用户这样的高级权限。

解决这个问题，你可以尝试以下步骤：

1. **检查权限**：确保你正在执行这些命令的用户有相应的权限。对于root用户，可以通过`sudo -i`切换到root然后尝试设置进程优先级。

2. **禁用限制**：如果你确实需要为DataNode提升优先级，可以在配置文件如`core-site.xml`或`hadoop-env.sh`中的`set-priority`参数行中设置`false`，避免系统进行优先级检查。

3. **使用其他方法**：如果不需要人为调整，也可以考虑让Hadoop管理进程优先级。有些情况下，数据节点本身不依赖于操作系统级别优化性能。

# 如果你是root并想暂时解除限制
echo "no" | sudo sysctl -w kernel.sched.min_priority=0

# 或者在配置文件中禁用
export HADOOP_DATA_NODE_SET_PRIORITY=false

但请注意，随意改变系统默认设置可能会对集群稳定性产生影响，建议只在了解风险后执行。